中文大模型评测基线：C-EVAL 多级多学科评估实战指南

简介C-EVAL 是面向中文语境下基础模型评测的多层级、跨学科评估套件适合自然语言处理与大模型评估方向的研究人员及技术从业者使用用于系统分析各类大模型在中文环境中的知识储备与推理短板。套件按中学、高中、大学、专业四个难度层级组织覆盖人文到理工共52个学科并附有高难子集 C-EVAL HARD 专门考察高级推理能力实验显示仅 GPT-4 平均准确率超过60%说明现有模型仍有较大提升空间。资源包共1个文件为PDF格式论文大小约4.89MB完整呈现评测设计、实验设置与结果分析并说明数据集与评估代码已在 GitHub 公开、配有在线提交与实时排行榜。已有76人学习读者可据此了解基准构建思路、题目难度分层与模型能力对比方法为中文大模型评测与改进提供参考。1. 中文大模型评测为什么我最后把 C-EVAL 当成了基线去年帮一个做行业模型微调的团队看评测方案他们拿一堆英文榜单刷分刷得挺好看一上真实中文业务就露馅——问法律条文、问医学常识、问大学物理答得似是而非。问题不在模型笨在于评测选错了尺子。英文基准翻译过来考的是翻译质量不是中文语境下的知识与推理。后来我把 C-EVAL 这套中文多级多学科评估套件推给他们用 52 个学科、四个难度层级、13948 道单选题重新拉了一遍基线很多“高分模型”当场掉到及格线附近。这篇就讲清楚这套评测套件到底怎么用、怎么读结果、哪些坑我踩过。做模型选型的、做评测复现的、刚入行想建立评测直觉的都能照着往下走。2. 拆开 C-EVAL 看设计四个难度层级和 52 个学科怎么落到评测里2.1 难度分层不是噱头是定位模型能力边界的坐标C-EVAL 把题目按中学、高中、大学、专业四个层级切分这个设计我第一次看觉得只是分类用久了才发现它是定位能力边界的坐标系。中学层考的是常识性知识模型答对说明基础语料覆盖够高中层开始考组合推理大学层涉及 25 个代表性本科专业方向专业层直接对标职业资格类考试比如医师资格、法律职业资格、注册类工程师。四层叠起来你能看出一个模型是“知识面广但推理弱”还是“推理还行但专业领域空白”。我一般会这么比先看整体平均分再看四个层级的分数落差。落差大说明模型在某一档能力上断层比如中学层 80 分、专业层 30 分那这个模型基本只能做通用问答碰专业场景就得靠外挂知识库。落差平缓但整体偏低说明基础能力没打牢微调再多也补不上。这个判断依据比单看一个总分有用得多因为总分会被学科数量加权稀释层级落差才是真实的能力剖面。从统计口径看中学 7 科 1409 题、高中 8 科 1594 题、大学 25 科 6249 题、专业 12 科 4696 题大学和专业两层占了近八成题量。这意味着平均分其实更偏向高阶能力一个模型总分能到 60说明它在大学及以上难度有实打实的覆盖不是靠中学题刷上去的。选型时如果业务偏专业咨询直接盯专业层分数别被总分迷惑。2.2 学科聚类与题型约束为什么只保留四选一单选题52 个学科被聚成 STEM、人文、社科、其他四大类题量分别是 4495、2676、2845、3932。这个聚类方式对选型很关键你的业务如果偏理工就看 STEM 类得分偏内容合规和人文理解就看人文和社科。我见过团队拿一个社科强、STEM 弱的模型去做工程文档问答结果一塌糊涂回头查分才发现 STEM 类只有 40 出头只是总分被社科拉平了。题型上 C-EVAL 只保留四选一单选题每个题恰好四个选项、唯一正确答案。这个约束看起来简单实际是评测可信度的地基。开放式生成题的评分要么靠人、要么靠模型裁判前者贵后者有偏单选题的指标就是准确率定义清晰、可复现、跨模型可比。原文里也提到多选题是评估高阶能力的一个简单但有效的代理指标因为这类能力在指令微调后能迁移到下游任务。数据处理上有个细节值得说原始题目来自 PDF、Word 和网页作者做了自动解析加人工标注STEM 类涉及复杂数学符号的统一转成标准 LaTeX 格式还做了去重和清洗保证 LaTeX 无语法错误。每科至少处理约 200 题再按学科内随机切分成开发集、验证集、测试集。开发集每科 5 条带解析的示例专门给少样本评测用验证集和测试集按 1:9 切验证集调超参测试集出最终分。这个切分逻辑意味着你复现时不能自己乱切必须用官方给定的划分否则分数和排行榜对不上。2.3 防数据污染的设计为什么题目来自模拟卷和校内卷评测套件最怕的是题目进了预训练语料模型不是会做是见过。C-EVAL 在这点上做了两层防护值得做评测的人抄作业。第一层是来源选择数据主要来自网上公开的模拟考试以及部分高校学生公开分享的校内期末题还有少量经授权的研究生入学模拟题而不是直接搬全国统一考试的真题。真题流传太广极易被爬进预训练集模拟卷和校内卷的分布更分散泄漏概率低。第二层是格式门槛大部分样本来自 PDF 和 Word 文档需要解析和人工标注才能变成结构化题目STEM 还要做 LaTeX 转换。这个加工过程本身就是一道过滤纯文本爬虫很难直接拿到干净题目。原文明确说这种做法偏离了此前用官方真题建基准的路线目的就是降低数据污染风险。对使用者的实际意义是当你拿 C-EVAL 分数去对比两个模型分数差异更可能反映真实能力而不是谁家预训练时“不小心”见过题。但也不能完全躺平我后面避坑章节会讲某些高频公开题仍有泄漏可能读分时要留个心眼。3. 跑一遍评测从数据格式到少样本思维链的完整复现3.1 数据组织与提示构造dev 示例怎么喂进去C-EVAL 的每条数据是结构化单选题字段包括题目、四个选项、正确答案开发集还额外带解析。少样本评测的标准做法是从开发集取 5 条同科示例拼进提示再让模型回答目标题。下面是我常用的提示构造骨架语言标注为 python逻辑是把 dev 示例和待测题拼成一段对话式输入# 从开发集取 5 条同科示例构造少样本提示 def build_prompt(dev_examples, question, options, use_cotFalse): prompt 以下是中国考试的选择题请选出唯一正确答案。\n\n for ex in dev_examples: prompt f题目{ex[question]}\n for i, opt in enumerate(ex[options]): prompt f{chr(65i)}. {opt}\n if use_cot and ex.get(explanation): # 思维链模式先给解析再给答案 prompt f解析{ex[explanation]}\n prompt f答案{ex[answer]}\n\n prompt f题目{question}\n for i, opt in enumerate(options): prompt f{chr(65i)}. {opt}\n prompt 答案 if not use_cot else 解析 return prompt这段代码的关键参数是use_cot。关掉时模型直接输出选项字母对应原文的 answer-only 设置打开时先让模型生成推理过程再给答案对应少样本思维链设置。dev_examples必须同科取跨科示例会干扰模型对题型分布的判断。选项统一映射成 A/B/C/D是因为不同来源的原始选项标号混乱统一后才能稳定解析模型输出。解析模型输出时别用正则硬抠第一个字母模型可能先复述题目再给答案。稳妥做法是取最后一个匹配[ABCD]的字符或者要求模型输出固定格式如“答案X”。我一般会在提示末尾加一句“最后一行只输出答案字母”把解析成本压到最低。3.2 answer-only 与思维链两种设置分数差异说明什么同一批模型在两种设置下的分数差异本身就是一条判断依据。answer-only 考的是知识检索和快速判别思维链考的是推理链条完整性。原文的实验里GPT-4 是唯一平均准确率超过 60% 的模型达到 66.4%在更难的 C-EVAL HARD 子集上只有 53.3%是少数让 GPT-4 也吃力的中文基准之一。这个数字很说明问题连最强模型在硬子集上都刚过半说明高阶中文推理远没到饱和。思维链设置下如果某模型分数比 answer-only 明显提升说明它有推理潜力只是零样本时没被激发如果提升很小甚至下降说明它的推理输出不稳定生成长解析反而引入噪声。我对比过几个中文模型有的 answer-only 50 分、思维链 55 分属于可救有的 answer-only 48、思维链 42那就是推理链路本身不可靠微调时得从指令跟随入手而不是堆知识。还有一个观察原文提到部分中文模型在中文知识测试上能缩小与 ChatGPT 的差距但推理能力的获取明显更难在 C-EVAL HARD 上多数模型只能保持接近随机的准确率。这条结论对选型很实用——如果你的业务是知识问答中文模型够用如果是复杂推理别指望换个中文模型就解决得看它在硬子集上的表现。3.3 C-EVAL HARD 子集硬骨头怎么单独拉出来测C-EVAL HARD 是从 52 科里挑出的高难学科子集比如高等数学、大学物理这类需要多步推理的科目。它不是另一套数据而是 C-EVAL 的一个切片单独拉出来测的意义在于整体平均分会被大量中等难度题拉平硬子集才能暴露推理短板。复现时我的做法是维护一份学科白名单只对白名单内的科目算平均分其余科目照常跑但不计入硬子集指标。这样同一份评测脚本能同时产出整体分和硬子集分不用跑两遍。白名单的划定依据是学科本身的推理密度不是题目难度标签——同样是大学层有的科目偏记忆有的偏推导后者才进硬子集。读硬子集分数时有个经验阈值接近 25% 就是四选一的随机水平说明模型在该子集上基本没学到东西30% 到 40% 之间是“有零星正确但不成体系”过 50% 才算具备可用的高阶推理。GPT-4 的 53.3% 放在这个坐标里是“刚过可用线”不是“已经很强”。这个判断帮我避免过一次误判某模型整体分不错硬子集只有 28%团队还想拿它做工程计算类问答我直接劝退了。4. 选型对比几个模型在 C-EVAL 上的分数怎么读才不翻车4.1 横向对比表整体分、层级分、硬子集分三列一起看单看排行榜一个总分是最容易翻车的读法。我一般拉三列整体平均分、四层级分、硬子集分再按业务场景加权。下面这张表是我整理对比时的模板结构数值位置留给你填自己跑出来的结果重点是列的设计逻辑模型整体平均中学层高中层大学层专业层硬子集思维链增益模型A待填待填待填待填待填待填待填模型B待填待填待填待填待填待填待填模型C待填待填待填待填待填待填待填列的设计各有用途。整体平均是入口快速筛掉明显不合格的四层级分看能力剖面判断模型的知识覆盖是否匹配你的业务难度硬子集分看推理天花板思维链增益看推理潜力。原文的实验结论是 GPT-4、ChatGPT、Claude 排在前三尽管它们并非专为中文数据打造这个结果本身就提示中文专项模型在知识测试上能追近但推理能力仍是分水岭。填表时注意口径统一同一套提示模板、同一批 dev 示例、同一个解析规则。我见过团队拿 A 模型的思维链分数去比 B 模型的 answer-only 分数得出“A 更强”的结论这是典型的口径混用。要么都开思维链要么都关跨设置比较没有意义。4.2 按业务场景加权知识问答看专业层推理任务看硬子集选型不是选总分最高的是选最匹配场景的。我的加权规则大致是这样做通用客服和知识问答专业层和大学层权重高因为真实问题多落在这一档做教育类解题高中层和大学层并重还要看思维链增益做工程计算、法律推理这类硬任务硬子集分是硬门槛低于 40% 直接排除不管总分多好看。举个具体判断两个模型整体分都是 58模型甲专业层 52、硬子集 45模型乙专业层 60、硬子集 32。做专业咨询选乙做推理密集型任务选甲。这个拆分依据来自 C-EVAL 的层级设计——专业层考的是职业资格类知识贴近真实专业问答硬子集考的是多步推理贴近复杂任务。总分相同不代表能力相同加权才是选型的核心动作。还有一条容易被忽略看学科聚类分。STEM、人文、社科、其他四类的分数分布能告诉你模型的知识偏科方向。业务如果跨多个领域就要求四类分差不要太大如果只做单一领域反而可以容忍偏科把资源压在对应类目上。原文把 52 科聚成这四类就是为了让使用者能做这种切片分析而不是只吞一个总分。4.3 分数之外的判断评测成本、可复现性与更新节奏分数之外还有三个维度决定这套评测值不值得长期用。第一是评测成本13948 道题全量跑一遍对推理接口的调用量不小思维链模式还要生成解析token 消耗更高。我的做法是先跑验证集和硬子集做粗筛入围的模型再跑全量测试集把成本压到可控范围。第二是可复现性C-EVAL 给了固定的开发/验证/测试划分和 5 条带解析的 dev 示例这意味着任何人按同一流程跑结果应该能对齐。复现时最容易出偏差的是提示模板和答案解析这两处必须固定成脚本里的常量不能每次手改。我一般把模板和解析规则写进配置文件跑之前先拿一两条 dev 示例做冒烟测试确认模型输出能被正确解析再开跑。第三是更新节奏评测套件是静态的模型是动态的题目泄漏风险会随时间上升。原文已经用模拟卷和校内卷降低了污染概率但使用者仍要关注自己业务领域的高频题是否可能已进语料。我的习惯是每季度抽一批题做人工复核看模型是否出现“答案对但解析离谱”的情况那往往是记忆而非推理的信号。5. 避坑与排查跑 C-EVAL 时最容易翻车的五个地方5.1 提示模板不统一分数没法横向比现象同一模型两次跑分差出五六个点换个人跑又不一样。原因提示模板里的措辞、示例顺序、是否带解析说明每次都在变模型对提示敏感微小改动就会影响输出分布。解决把模板固化成脚本常量dev 示例按固定顺序取跑之前用冒烟测试确认输出格式稳定任何对比实验都基于同一份模板文件。5.2 答案解析抠错字母准确率虚高或虚低现象模型明明答对分数却低或者答错却被判对。原因模型输出里先复述题目再给答案正则抓到的是题目里的选项字母不是最终答案。解决要求模型最后一行只输出“答案X”解析时取最后一个匹配项对不按格式输出的样本单独记录人工抽检别让解析 bug 污染整批结果。5.3 拿思维链分数比 answer-only 分数现象得出“某模型推理能力碾压另一个”的结论实际是设置不同。原因思维链模式给了模型生成推理过程的机会分数天然高于直接作答跨设置比较等于让一方多跑一段。解决对比表里单列“思维链增益”所有横向比较限定在同一设置内要比较推理潜力就看增益幅度不看绝对分。5.4 忽略数据泄漏把记忆当能力现象某模型在某科分数异常高换一批同科新题就掉下来。原因该科题目可能来自公开模拟卷已被爬进预训练语料模型是见过而非会做。解决对高分科目做人工复核看解析是否合理定期抽题做改写测试把题干换个说法再问分数大幅下滑就是泄漏信号。原文用模拟卷和校内卷降低风险但使用者仍要自己留一道复核。5.5 全量跑测试集成本失控还拖慢迭代现象每次调完模型都全量跑 13948 题等结果等到失去耐心。原因没做分层抽样把评测当成一次性全量任务。解决先用验证集加硬子集做粗筛入围模型再跑测试集全量把评测脚本做成可配置子集按学科、按层级、按难度切片跑迭代节奏能快好几倍。6. 落到实操我给团队定的 C-EVAL 使用规矩跑了大半年我给团队定了一套固定动作写下来给你参考。第一步永远是先跑硬子集和验证集不碰测试集全量粗筛阶段只看两个数硬子集是否过 40%验证集是否稳定。这两个数不过关的模型连进对比表的资格都没有省下来的调用量留给入围者。第二步是固定模板和解析脚本模板写进配置文件解析规则要求模型输出固定格式跑之前拿 dev 示例做冒烟测试确认输出能被稳定解析。第三步是对比表只填同一设置下的分数思维链增益单独一列绝不跨设置比较。读结果时我有个习惯先看层级落差再看学科聚类最后才看总分。层级落差大说明能力断层聚类偏科说明知识覆盖不全总分只是这两者的加权结果先看总分容易被平均数骗。原文的结论也支持这个顺序——GPT-4 是唯一平均过 60% 的模型但硬子集只有 53.3%说明即便最强模型高阶推理也只是刚过可用线选型时把硬子集当门槛比看总分靠谱。还有一个具体技巧把 C-EVAL 当成一套可拆分的评测套件而不是一个整体榜单。原文明确说子集可以单独用来评估特定能力分析模型的强项和短板。我的做法是按业务建三套子集——专业知识子集、推理硬子集、通用常识子集分别对应三类业务场景每套子集独立出分、独立设阈值。这样模型迭代时哪块能力退化了立刻能看出来不用等全量分出来才发现问题。回过头看最大的教训是早期太迷信总分拿一个平均分不错的模型上了专业场景结果专业层只有 40 出头返工成本远高于当初多跑几轮评测。从那以后我每次选型都强制走一遍“硬子集门槛 层级落差 聚类偏科”三连查宁可前期多花两天评测也不在业务里补窟窿。这套 C-EVAL 的数据和评测代码是公开的配套在线提交和排行榜也能用来交叉验证自己的复现结果建议你拿到手先按上面的规矩跑一遍粗筛再决定要不要全量。希望帮到你。本文还有配套的精品资源点击获取