大模型自测指南：用现成指标搭建能力、信用与稳态基线

后台收到这个问题的时候我正好在整理碳硅道统这篇系列回答。提问的读者思路很实在这套协议听起来像一整套完整的评测哲学但如果真要自己从数据集、框架、后处理一步步搭起来成本直接劝退。所以他想知道市面上那些已经跑了几百遍的现成大模型评测指标哪些可以直接拿来对应这套协议做一轮初步自测。这个问题的价值在于它把协议从纸面拉到了地面。碳硅道统追求的是全链路评测但它的结构恰恰支持分层落地。我自己一直主张做模型评估不要一上来就全量展开而是先用现成的、公开的、可复现的指标做一轮低成本自测拿到信号后再决定要不要加深度。这篇文章就把可以放心套用的指标清单、怎么套、以及套完之后怎么解释一次性说清楚。内容主要面向三类人正在做大模型选型的工程师负责搭建团队评测流程的技术负责人以及想对公开榜单高分模型做交叉验证的研究者。如果你只是想知道哪个模型分数高这篇帮不了你如果你想知道哪个模型在什么条件下值得被信任这篇正好对口。1. 先搞清楚这套协议到底在测什么1.1 碳硅道统的三个核心关切要把指标映射到协议上前提是明确协议关注什么。碳硅道统本质上是一套面向碳基需求与硅基能力的适配协议它的核心问题不是哪个模型更强而是这个模型在什么条件下可以被人放心地用来做事。围绕这个问题协议建立了三个核心关切能力基线模型在多大范围内、以何种精度完成人类指派的任务。说白了就是能不能用。信用基线模型输出的真实度、幻觉频率、偏见程度。说白了就是敢不敢信。稳态基线模型面对长上下文、多轮对话、重复追问、严格格式约束时性能会不会塌方、行为会不会漂移。说白了就是能不能长期用。初步自测不要求三个维度都拉满但至少要每个维度都摸一下、各取一个信号。只靠一个MMLU分数就想对模型下结论那是不可能的。1.2 为什么不建议直接照搬综合榜单有人会问那我直接看综合榜单的排名行不行不行至少对自测这个场景不行。第一个原因是榜单综合分是加权平均一个模型可能靠强项把总分顶上去短板全藏在后头。加权平均最容易掩盖的就是信用基线塌方这种事。现实中经常看到一个模型能力项分数很漂亮但幻觉相关评估得分极低综合排名依然靠前因为能力权重大。对自测来说短板信号比排名信号重要得多。第二个原因是榜单普遍是间接对比用的是主办方固定的prompt和后处理逻辑很多细节并不公开复现起来很费劲。我试过自己去复现同一个模型跑排行榜上的同名指标和榜单数字差0.5到3个点都是常事。如果要做持续跟踪这一步不可复现后面就没法建立自己的基线。第三个原因更隐蔽数据污染。不少模型在预训练语料里已经见过评测题目这类问题靠看榜单是看不出来的只能通过自查和错误样本分析去发现。所以正确的方法是用碳硅道统当坐标系把公开指标当刻度尺自己动手跑一轮受控的初步自测。2. 现有大模型哪些指标可以直接套用2.1 能力基线直接抄的成熟基准能力维度最好解决学术社区已经沉淀了一大批成熟基准不需要重新发明轮子。我选择的标准只有一个优先选那些有明确版本、固定提交格式、被反复复现的基准不碰小众的自定义题集。指标测什么能力对应协议关切自测友好度MMLU / MMLU-Pro多学科知识广度与选择判断能力-知识面高评测框架一行能跑C-Eval / CMMLU中文语境知识与常识能力-中文场景高中文选型必备GSM8K / MATH数学推理与符号运算能力-推理中需注意few-shot设置HumanEval / MBPP代码生成正确性能力-代码中重点看pass1BBH多步推理与指令组合能力-复杂任务中高注意输出截断这里有个经验如果你要做横向选型对比MMLU和C-Eval都用固定5-shot不要几个模型混用不同的shot数GSM8K用官方8-shot加CoT提示代码基准看pass1temperature压到0.2以下。这些细节不统一的话跑出来的分数根本没有可比性这是自测里最容易犯的低级错误。另外注意MMLU现在有新版MMLU-Pro把原来的四选一改成了十选一样例污染率更低对很多靠背样本提分的旧模型杀伤力很大。我的建议是能力基线里至少保留一个新基准项目来对抗污染MMLU-Pro和GPQA都可以胜任。2.2 信用基线真实性、幻觉与偏见这一块是对碳硅道统最关键的映射。能力再强的模型如果大量产出看似合理实则错误的回答在协议视角下会直接被降级。信用基线的现成指标主要有三组。第一组是TruthfulQA。这个基准专门测模型生成答案时的事实准确性问题刻意设计成容易让模型掉进错误常识坑的类型。它的标准答案之外还设置了正确但不充分错误但看似真实两种干扰项对幻觉倾向的识别效果比普通问答基准强很多。自测的时候我建议不只记录分数还要把错误样本的类型分布导出来看。第二组是幻觉检测类基准比如HaluEval以及随后一系列变体。这类基准会构造含有幻觉的回复与无幻觉回复的配对样本让模型判断哪条有幻觉或者在知识问答场景下直接测幻觉率。对于准备做对话产品或知识助手的团队这一项我认为属于必测没有例外。第三组是偏见相关公开基准比如BBQ、BOLD这类。它们通过分组对照设计测模型在不同群体描述上是否存在系统性偏差。碳硅道统的信用基线不只计算事实准确性也算模型会不会在信息不足时习惯性给出模板化、刻板印象化的回答。讲一个实际体验不少模型的MMLU能冲到80以上但TruthfulQA长期在55到65之间徘徊。这说明了什么说明这个模型见多识广但不知道什么时候该承认自己不知道。按碳硅道统的判定逻辑信用基线塌方的模型能力分数再好看也要先打个问号。能力差一点可以靠外部工具补信用崩了用户没法把重要决策交给它。2.3 稳态基线长文本、指令遵循与一致性这部分是榜单最不在意、但生产环境最要命的。一个模型在评测题上表现聪明一到真实服务就话痨、跑偏、记不住前文这就是稳态出问题了。长文本方向建议用LongBench和RULER。LongBench覆盖了单文档问答、多文档问答、摘要、代码补全等真实长文本任务适合模拟用户丢给你一本几十页的手册让你提取结论这类场景。RULER的设计更可控通过生成不同长度的合成文本测试模型在1k、4k、8k、16k甚至更长序列里能否保持准确的检索与推理。很多模型宣传的上下文窗口在实际长序列下效果衰减非常明显RULER能把这条衰减曲线直观拉出来。指令遵循方向用IFEval。这个基准全是格式约束类的指令比如用恰好五个要点回答不允许出现数字第一行必须是XML标签等模型的回报率直接反映它对显式约束的服从程度。别小看这类能力实际产品的绝大多数请求都带格式要求如果这里表现差模型接到业务请求时会不断返回不可用的结构工程侧只能靠反复重新生成来硬扛。一致性方向有一个笨办法但实际效果意外的好自测一致性。固定同一个输入在temperature等于0和0.7两种设置下各跑5到10次比较输出的差异程度也可以参考SelfCheckGPT的思路让模型对自己不同次的回答做一致性核对。自建一致性测试虽然不算标准评估但对判断这个模型能否作为稳定的服务组件非常有说服力。3. 实操用现成指标跑一次初步自测3.1 自测前先锁定三个变量跑指标之前必须先回答三个问题否则跑出来的结果没法横向解释。第一锁定被测对象快照。模型是哪个版本、什么量化精度、跑在什么推理框架上同一个模型7B的4bit量化和fp16全精度在代码与推理类任务上能差出一个档次。我见过不止一次有人拿量化版模型跑HumanEval得出这个模型代码能力很差的结论实际上是精度损失导致的。要批评一个模型先确认你测的是它完整精度下的真实表现。第二锁定评测环境与推理参数。temperature固定为0或者0.2以下max_tokens设置足够长seed固定。对话类模型如果temperature设置太高同一道题跑两次答案可能完全不在同一个语义空间里指标解释就会失真。第三明确评测意图。是做横向选型比如A模型对比B模型还是做纵向回归比如定期监控自己微调的新版本有没有退化两种意图对应不同的指标集和运行频次。选型可以跑全套回归则要选稳定、快速、便宜的指标组合最好三小时内能出结果。3.2 一份可以直接抄的入门自测包结合协议三关心我整理了一份实际性价比最高的组合。全部使用公开指标在一个普通GPU节点上跑完大约需要3到6小时。协议关切指标设置建议重点观察能力MMLU-Pro5-shot分数低于老版MMLU 8到10分属正常能力C-Eval5-shot中文选型必看能力GSM8K8-shot CoT关注推理过程而非只看答案能力HumanEvalpass1, temp≤0.2看代码能否直接执行信用TruthfulQA0-shot重点抽看错误案例信用HaluEval默认配置幻觉率越低越好稳态LongBench官方默认重点看长文档场景稳态IFEval默认配置看格式服从度稳态自建一致性同一prompt跑5次temp 0与0.7各跑差异率低于20%算稳如果时间更紧最少可以只跑四项MMLU-Pro、TruthfulQA、IFEval、LongBench。这四项构成一个完整的最小验证环能力、信用、稳态各有一个信号足够做初步判断。3.3 用现成框架跑别自己从零搓跑评测不要自己写脚本去加载数据集、逐条请求模型社区已经有非常成熟的框架直接站到轮子上。第一个是lm-evaluation-harness开源社区的事实标准由EleutherAI维护内置几百个数据集。一行命令就能启动lm_eval --model hf \ --model_args pretrained模型路径,trust_remote_codeTrue \ --tasks mmlu_pro,truthfulqa_mc2 \ --batch_size auto \ --output_path ./results \ --num_fewshot 5注意tasks的写法不同版本的harness对任务名的定义有差异比如老版本叫mmlu新版本叫mmlu_pro。跑之前先执行lm_eval --tasks list | grep mmlu确认名称不然会报任务不存在的错。第二个是OpenCompass由上海AI实验室开源处理中文基准的生态很顺跑C-Eval、CMMLU比harness更省心。简单场景一条命令行就能完成python run.py --models hf 模型路径 --datasets ceval_gen gsm8k_gen --max-num-workers 8如果被测模型是API接口harness和OpenCompass都能走API驱动但要注意API评测的稳定性服务端负载波动、限流都会影响结果必须观察单条请求的耗时和重试情况。批量出结果很快不代表每个结果都可靠。3.4 分数怎么映射到协议判定跑完指标以后别把分数表丢出来就完事要做一次协议化的打标。我的习惯是把结果分到三个区绿区能力接近同规模先进水平信用基线没有系统性衰退稳态基线在可接受范围内。这个模型可以进入小范围试用。黄区某一个维度明显偏弱其他正常。常见的是能力很强但信用不稳或者信用正常但稳态不行。这种情况建议定向补测补充一项相关指标后再决定去留。红区出现系统性幻觉、长文本崩溃或指令遵循极差。即使综合分看起来还可以也不建议进入正式流程。举个例子。去年有款模型跑出来MMLU接近当时第一梯队我一度很兴奋结果TruthfulQA直接掉进垫底区间。翻错误样本发现它会在明显不确定的情况下强行编造时间、人名和文献信息。按照协议三重视角判定这就是红区——不是因为它不够聪明而是因为它不够诚实。这类结论只看综合榜单永远看不出来。4. 初步自测的常见问题与排查实录4.1 分数和网上公布的榜单对不上这是最普遍的问题。同一模型、同名指标自己跑出来和榜单数字差了3到5个点先不要怀疑模型被调包最常见的诱因是这几个few-shot数量不一致。GSM8K你用0-shot榜单用8-shot差距能拉到10个点以上。prompt模板不同。同名任务在harness和OpenCompass里的prompt写法并不完全相同。max_tokens不够长。推理类任务输出被截断直接判错。我自己踩过这个坑跑BBH时max_tokens给短了分数凭空掉了近10个点。后处理逻辑不同。有些基准严格匹配答案有些允许模糊匹配。排查方法很固定优先用官方配置或框架默认配置不要自行调整prompt。如果必须调整把改动记录写进评测报告。初步自测的核心诉求是可复现不可复现的分数没有建立基线的价值。4.2 数据污染模型在背题新基准不断推出的一个重要原因就是数据污染。模型如果在预训练阶段见过测试集文本评测成绩会虚高虚高的幅度还不可预测。排查方式有三种我建议叠加使用。第一优先选择新发布的基准或者官方明确做过去污染处理的版本。MMLU-Pro、GPQA这类新基准在防污染设计上比老基准好很多。第二混入自建样本。我自己长期保留一个私有题库大约200题包含大量业务场景改写题。每次自测都额外跑一遍这个题库如果公共基准分数高但私有题库分数明显低基本可以怀疑背题效应。第三分析错误案例的分布特征。背题模型在见过的题型上准确率异常高但在需要临场推理的改写题上露出马脚这种差异通过逐题分析能看得很清楚。4.3 API评测和本地评测结果不一致API模型跑出来的分数和本地部署版本对不上常见原因有三个。一是服务端采样参数不透明。服务商可能在temperature上做了默认设置或者动态调整。二是并发负载导致输出截断。某些API对长请求的内存管理一般并发场景下会出现截断。三是推理优化带来的精度损失。很多API为了高吞吐做了投机解码或量化推理换来速度的代价是生成分布发生偏移这种偏移在复杂推理任务上会被放大。对策是固定temperature等于0固定seed同一天内用同一套配置跑完所有模型记录每次请求的usage信息同时建立本地参照组。如果打算长期做协议自测我的建议很直接保留至少一个高精度本地部署作为对照组API作为便捷补充两边定期对拍。4.4 只盯综合分而不看错误案例自测真正的价值不在于那张分数表而在于错误案例分析。我每次跑完一组指标后固定会做三件事第一把所有基准里预测错误的样本全量导出。第二按错误类型归类区分为知识缺失、推理断裂、格式违背和无中生有。第三挑出10到15条最具代表性的错误样本人工逐条写注释记录模型是在哪一步开始跑偏的。这套错误样本集的信息密度远远超过几十个指标分数。有一次我连续用三款模型跑同一套自测包分数都在伯仲之间但翻开错误案例一个模型的问题是过度口头承诺明明不确定的事也满口答应另一个的问题是在长上下文中遗忘早期指令越聊越偏还有一个的问题是无法处理请求时会编造一套看似合理的流程。三个完全不同的病光靠总分根本分辨不出来。我个人实际操作中的体会是碳硅道统的初步自测本身不难难的是你拿到自测结果以后敢不敢拿它来做决策。这一轮跑下来我最满意的收获不是那几个指标分而是养成了一套固定的失败样本档案。每测一个新模型就把它的错误案例归一次档几个月后再测新模型直接拿历史样本当试金石效果比任何公开榜单都靠谱。建议你自己跑的时候也保留这个习惯这会比你多跑两个指标值钱得多。这套协议后续再往深走方向就是把自测包逐步升级成批次回归包让每个版本的模型都带着同一组样本做持续监测这些内容我们以后再展开聊。