Bert回顾与Jev初探

最近Jev非常火我看了一下似乎是炒冷饭。好像是决策树校正。有的人提到的很像Bert我看确实有点像。很久没碰到Bert这里简单回顾并探讨一下与Jev的关系。Bert 简单回顾BERT 是一种基于 Transformer Encoder 的双向预训练语言模型通过大规模文本预训练获得通用语言表示再通过微调解决各种自然语言理解任务。BERT 的整体结构基于 Transformer 的 Encoder编码器。与传统从左到右或从右到左读取文本的语言模型不同BERT 能同时利用一个词左右两侧的上下文信息因此被称为**“双向”语言模型**。例如在句子“我去银行办理业务”和“河流两边都有银行”中BERT 可以结合上下文学习“银行”在不同语境下的含义。BERT 的输入通常由三类 Embedding 相加得到Input Embedding Token Embedding Segment Embedding Position Embedding其中Token Embedding 表示词或子词本身Segment Embedding 用于区分不同句子Position Embedding 用于表示词在句子中的位置。输入序列中还会使用一些特殊符号例如 [CLS] 通常放在句首可用于文本分类[SEP] 用于分隔两个句子[MASK] 用于预训练阶段的词语遮盖。BERT 的重要特点是采用“预训练 微调”的范式。预训练完成后只需要在 BERT 后增加一个较简单的任务层并使用少量标注数据进行微调就可以应用到很多 NLP 任务例如文本分类、情感分析、命名实体识别、机器阅读理解、问答系统、文本匹配和信息抽取等。两个预训练任务MLMMasked Language Model是对输入中的一部分 Token 做掩码然后让 BERT 预测原来的 Token 是什么。NSPNext Sentence Prediction用于判断句子 B 是否为句子 A 的真实下一句帮助 BERT 学习句子之间的关系。后来研究发现原始 NSP 任务较简单、收益有限因此 RoBERTa 等后续模型直接取消了这一训练目标。一个简单的Bert 项目复现Mini-BERT-PyTorchJev 初探Jev 是 TypeSafe AI 在 2026 年 9 月 15 日发布的首个 System One Model。它的定位不是聊天或生成文本而是做快速、结构化的判断输入一段状态或文本再给出你希望模型回答的结构化问题Jev 直接输出选择、分数或概率。TypeSafe 把它概括为“非结构化状态输入类型化概率决策输出”。例如给 Jev输入“用户说信用卡被重复扣款两次。”问题这个工单属于哪个类别候选A. 登录问题B. 支付问题C. 产品咨询D. 其他输出支付问题0.96产品咨询0.02其他0.015登录问题0.005目前 Jev API 主要提供三类判断Choice 是从预定义候选项中选择Score 是按照给定等级进行评分Noul 则是对一个是/否判断返回概率。官方 API 直接把这些作为结构化类型而不是要求模型生成 JSON 字符串再解析。下面这张表更直观地看 Jev 适合做什么、不适合做什么场景输入示例Jev 输出典型用途二分类判断“这笔交易是否可疑”Yes 96% / No 4%风控、审核、反欺诈多分类“这封邮件属于什么类型”退款 82%、技术 12%、其他 6%客服工单分类、邮件路由优先级判断“这个工单有多紧急”High / Medium / Low客服、运维、事故处理内容审核“这段内容是否违反规则”Violation 91%社区审核、UGC 平台Agent 路由“下一步应该调用哪个工具”Search 70%、Database 25%、Human 5%AI Agent 工作流线索筛选“这个客户是否值得销售跟进”Qualified 87%CRM、销售线索筛选文档判断“这份合同属于哪种类型”NDA 94%法务文档分类异常检测辅助“这个日志是否需要人工检查”Review 78%运维、安全监控决策置信度“应该自动批准还是人工审核”Approve 55%、Review 45%设置自动化阈值结构化 AI 决策给定业务状态和几个固定选项每个选项的概率替代复杂的 AIif/else逻辑Jev 更像一个 “决策模型”特别适合这种问题输入一堆上下文然后从有限选项里做选择并给出置信度。比如“要不要批准”“应该走哪个流程”“这个请求属于哪一类”“下一步调用哪个工具”。Jev相关实践项目Awesome JEVBert 与 Jev 对比BERT 擅长“理解后做固定任务”Jev 想做的是“理解后根据你临时给出的标准直接做决策”。模型主要输出典型用途BERTToken /[CLS]向量分类、NER、文本理解GPT 类 LLM下一个 Token对话、写作、代码、生成Jev选项 / 分数 / 概率分类、路由、评分、决策比较有意思的地方它站在 LLM 和传统 ML 之间——保留了对自然语言和复杂上下文的理解能力但输出方式更像传统决策模型。TypeSafe 还特别强调其输出的类型约束以及概率/置信度校准不过目前这些性能主张主要来自 TypeSafe 自己发布的评测。以上仅供参考。