扒开 Nimble-9B 的训练配方：不写小作文只做选择题，90.12% 是这么炼成的

扒开 Nimble-9B 的训练配方不写小作文只做选择题90.12% 是这么炼成的最近 AI 圈有个很有意思的风向大家不比谁更能聊了开始比谁更会“拍板”。起因是 OpenAI 前研究员创业做的 Jev一个不写文章、不聊天、只做判断题的模型速度快到离谱价格便宜到离谱。紧接着开源圈跟上了一批“平替”其中 Bespoke Labs 的Nimble-9B火了——它只用一个 9B 的底子在一批公开测试里拿到了90.12%的参考一致率把没微调过的 27B 大模型都甩在了后面。很多人第一反应是9B 打赢 27B这不合常理啊。别急把它的训练配方扒开看你会发现这事儿一点都不玄学它赢的不是“知识量”而是**“敢不敢给准话”**。一、先搞懂它不是聊天机器人是“选择题判官”你可以把现在的大模型想象成一个特别能说的同事你问他一句话他能给你写八百字分析最后你还不一定知道他到底想说啥。Nimble 完全相反。它更像公司里那个干了二十年的老法师你把材料往他桌上一放问“这事儿该走哪条流程”他看一眼回你三个字“走A。八成把握。”它要的东西很朴素一段文字材料 一张“问题清单”清单上每个问题都只能是两种形式——要么从你给的几个选项里挑一个要么回答是或否。它给你的也很朴素选中的那个答案外加每个答案的概率。举个最生活化的例子。你把一段退货政策贴给它再问一句“这件买了 12 天的商品还能退吗”它直接给你一个true同时告诉你它有多笃定。没有“根据您提供的政策内容我们可以从以下几个角度分析……”没有客套没有废话。一步到位直接给结论。这就是它和 ChatGPT 那类模型最本质的区别别人是“生成文字”它是“做选择”。二、它为什么快得离谱快是这个路线最抓人的地方。普通大模型回答一个问题得像挤牙膏一样一个字一个字往外蹦每个字都要算一遍所以慢。Nimble 压根不写句子它只干一件事看模型对 A、B、C、D 这几个候选答案分别给了多少分。打个比方普通模型是让学生把解题过程完整写出来Nimble 是只收答题卡还只让你涂 A/B/C/D。省掉的全是“过程分”留下的是“结果分”。成绩也很直观在 NVIDIA H100 上它做一个判断的中位耗时大约是106 毫秒换成苹果 M5 Pro 笔记本本地跑中位大约444 毫秒——你眨个眼的功夫它已经判完了。对比一下就更明显了同一个测试集上传统大模型走“先生成再解析”的路子动辄要两三秒。快十几倍甚至几十倍不是因为它更聪明是因为它少干了太多活。对业务来说这意味着什么客服系统一秒钟进来几千条工单你根本没时间等一个模型“思考人生”。三、训练配方给 AI 看“双胞胎案例”这部分是整篇文章最有意思的地方也是很多自媒体没讲清楚的地方。网上把这类做法统称为RLCD强化学习校准决策——核心思想是别光教模型“选对的”还要逼它学会“哪些细节一改答案就该翻盘”。Nimble 官方公开的配方说穿了更朴素就三招。第一招造“双胞胎题目”。他们不是随便找点数据喂进去而是成对成对地造题。两条材料几乎一模一样只改动一个关键事实答案就必须反过来。比如规则是“只有 Mira 能批这个账户的退款”。第一条材料写“这张单子是 Mira 签的”答案是“能退”第二条只把 Mira 换成 Noah其他一个字不动答案立刻变成“不能退”。这就像教徒弟判案不是背结论而是让他明白到底哪个证据才是决定性的。模型被这样“折磨”几千遍之后就学会了盯住关键那一句而不是被一堆无关的话带跑。第二招只给答案那一个字母打分。传统微调是让模型学会说整句话Nimble 的训练只盯着“答案那个 token”算对错。相当于考试只批最后那个选项过程一律不看。这也解释了它为什么这么“瘦”整个外挂的适配器只有165MB 左右底模还是原来那个 9B等于给一个成年人的脑子里装了一本薄薄的操作手册而不是重新造一个脑子。第三招题型配比要杂。训练数据里混了三类活儿多选题从选项里挑、是非题成立不成立、打分题按 rubric 打等级。官方公布的合同里累计一万两千多条训练样本、八千多组配对、五千多个来源家族覆盖电商、教育、医疗之外的公共服务、软件、供应链、旅游、职场等十个方向。训练本身反而很轻LoRA 只调一小部分参数学习率 5e-5一张 H100一个 epoch 就收工。官方自己都说这模型一天就做出来了。四、90.12% 到底怎么来的校准 ≠ 精度这里必须泼一盆冷水也是很多标题党最爱含糊的地方。90.12% 不是“它在真实业务里 90% 都对”。它的准确含义是在324 道留出的测试题上它的选择和参考答案一致的比例是 90.12%。而参考答案本身是模型生成、再由模型校验的没有人工逐条复核。同一个考场上成绩单是这样的原版 Qwen3.5-9B66.36%没微调过的 Qwen3.8-27B84.88%Nimble-9B90.12%Jev 1.13.093.21%也就是说它把一个 9B 的“普通学生”补课补到了接近行业标杆的水平还顺手超过了块头大三倍的同学。这才是这件事真正值得说道的地方。那“概率校准”又是什么想象一个特别爱吹牛的实习生每次都说“我百分百确定”结果十次错三次。校准就是把他嘴里的“百分百”翻译成真实的“七成”。原始的 Nimble 就有点这毛病。官方自己披露过一组数据模型给出的答案平均自信度是0.89但实际上只有73%是对的。听着挺唬人一验货就露馅。于是他们干了一件很“工程师”的事给概率调了个“音量旋钮”——温度参数。旋钮拧到 2.179 之后概率被摊平了不再那么极端。效果是校准误差从0.128 降到 0.066几乎砍半对数损失从 0.692 降到 0.555Brier 分数从 0.348 降到 0.295。注意一个关键点调温度不改变它选谁。就像把一个人的语气从“我绝对肯定”改成“我比较有把握”但他说的话一个字没变。所以那句行业内的话很值得记住校准管的是“你说的把握靠不靠谱”精度管的是“你到底对不对”。这是两码事。最新的这个版本官方干脆把温度设回 1.0并明确提醒老版本的 2.179 不要照搬。这种“把丑话说在前面”的态度在开源圈里其实挺难得。五、普通人能拿它干什么别被“决策模型”这四个字吓到它的用法其实特别接地气。场景一客服工单分诊。一句用户抱怨进来它是退款问题、物流问题还是账号问题该给哪个组带不带情绪一次判断直接分流不用排队等大模型慢慢写分析。场景二内容审核。这条评论是正常吐槽还是人身攻击这条商品描述有没有违规承诺给出是/否外加一个把握值。把握值低的自动转人工等于给审核员配了个“初筛助手”。场景三规则判断。保险合同这条能不能赔、公司报销这笔符不符合规定、学校这个申请够不够资格。这类活儿的共同点是规则写得很清楚但人看起来太累。正好交给它。场景四打分。客服话术质量打 1 到 5 分、文章合规程度分级。它不光给等级还能根据概率算出一个“期望分”比硬邦邦的整数更细腻。说白了凡是**“答案本来就在几个选项里只是人懒得一条条看”**的活儿都是它的主场。六、门槛高不高分三种情况说。想图省事官方有在线 API也有 Ollama 上的一键拉取ollama pull nimble就能在自己电脑上跑起来不用显卡农场。想本地部署9B 的权重本身大约 18GB运行时还要更多内存。Linux 这边需要支持 BF16 的 N 卡苹果电脑需要 Apple Silicon内存最好 64GB 起步——24GB 的机器会比较紧张。想自己改代码、数据、训练配方全都开源Apache 2.0 协议商用基本没包袱。这也是它比 Jev 更吸引开发者的地方Jev 是黑盒Nimble 是菜谱。适合谁做 AI 产品的团队、要处理海量工单的公司、对数据隐私敏感不敢把内容发出去的机构以及单纯想在自己笔记本上玩一把“本地 AI 判官”的发烧友。七、也得说说它的“脾气”吹完得讲缺点不然不厚道。第一它不会说话。你问它“为什么选 A”它答不上来。它只会选不会解释。要解释得你在外面再套一层。第二它不看图。哪怕底模本身带视觉能力这个版本也只吃文字。第三它有点“死脑筋”。如果你给的选项里根本没有正确答案它不会告诉你“都不对”而是硬着头皮选一个最像的。所以选项里一定要放一个“以上都不是”。第四字段之间互相看不见。一次问它五个问题它是五道题分开做的不会互相参考。前后矛盾得你自己在外面查。第五超长文本直接拒收。现在上限是 8192 个 token超了不截断、直接报错。官方的态度很明确宁可让你知道超了也不偷偷砍掉半截材料让你误判。第六选项一多就吃力。二十几个选项以内它挺稳到了七十几类、上百类的细分类任务公开测试里表现就明显下滑。毕竟它练的是“精挑细选”不是“大海捞针”。八、写在最后Nimble 这类模型的出现其实藏着一个挺大的观念转变。过去两年我们评价 AI 的标准是“它能不能像人一样说话”。而接下来越来越多人会关心另一个问题它敢不敢像人一样负责任地拍板并且如实告诉你它有几成把握。会聊天是能力会判断是本事。而“我知道自己有多确定”才是能真正托付事情的前提。从 66% 到 90%靠的不是堆参数、堆算力而是把数据造对、把“把握”校准。这件事对普通开发者的启发可能比模型本身更大有时候喂对一口数据比多买十张显卡都管用。最后留个问题给大家聊聊如果有个 AI 能在一百毫秒内帮你做完决定但它只会说“选 A八成把握”不会给你任何理由——这样的 AI你敢让它替你做哪些决定又绝对不敢让它碰哪些决定评论区见。创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考