科学代码上的 LLM 怎么选型终裁：SciPy 基准评测与能写/不能写

千笔-AIWritePaper · https://www.aiwritepaper.com给课题组挑「写科学代码用哪个模型、配哪些工具」时最常见的依据是排行榜截图和一句「我用着挺顺」。SciPy 2026 上Institute for Disease Modeling 的 Cliff Kerr 做了一个更硬的实验演讲题为「Vibes, meet rigor」时长约 30 分钟为他们的开源疾病建模框架 Starsim 手写一份能力考试让不同模型在「无技能 / 有技能 / 有技能加提示」几种条件下作答用两家厂商的模型交叉评分。本文把演讲里能核对的事实整理成一张五层选型终裁表再给出「能写 / 不能写」对照哪些结论可以写进你的选型报告哪些不能。文中数字全部来自演讲原话演讲者自己说「记不清」的地方照原样标注。图自上而下五层每层左侧是演讲给出的证据右侧是终裁结论与前提条件底部是评测计划闸门的三份计划判定。目标说明读完你应能当场完成五件事说清这次评测测的是什么Starsim 框架上兼顾编码与科学判断的手写考试而不是通用编程题。按五层模型、智能体循环、技能与提示、运行模式、评判写出自己的选型结论每层附证据与前提。区分「演讲支持的结论」和「只在摘要里出现、演讲已推翻的结论」。用评测计划闸门脚本检查你自己的选型评测计划找出会被作弊或饱和击穿的缺口。规划一个当天就能起步的小型评测几道手写题、一道暗号题、两家评判。适用边界适合课题组或团队要为领域框架建模、仿真、分析库挑选编码助手并且需要给出可复核的理由。手里已有框架文档或技能文件想知道「接上技能」到底值不值。需要一份评测方案去说服导师或负责人而不是一张截图。不适合直接照搬演讲里的名次做采购决定模型版本迭代很快演讲者本人就强调结论在几个月内变过一次。通用编程或刷题场景这次考试刻意避开了 LeetCode 式题目。把 Starsim 上的结果外推到别的领域框架结论的方法可以迁移数字不能。这场评测做了什么事实卡框架背景Starsim 是一个 Python 写的基于智能体的疾病建模框架演讲者说真实应用比如论文里一张图背后的代码通常在 100 到 300 行之间。技能包团队做了 Starsim AI约 20 个技能。演讲者展示连 Haiku 都能用一句提示写出一个完整的埃博拉模型但他紧接着问这个模型好不好评测就是为了回答这个问题。出题方式先让 Claude 把文档改写成考试结果被转成了 LeetCode 式题目演讲者说质量差到「不知道该哭还是该气」。最后改为像大学期末考试一样人工出题他称之为「artisanal」手工制作共 6 道大题例如在 Starsim 里实现基于智能体的 SIRS 模块同时考查仓室模型与智能体模型的区别。后来又加了陷阱题最后一题埋了一个只有读过技能原文才能答对的暗号shibboleth。两种运行模式pipeline 模式用英国 AI Security Institute 的 Inspect AI 框架自动起 Docker 容器、执行并评分控制严格但日志难以阅读humanoid 模式用 Claude Agent SDK 读取 Markdown 形式的考题像人一样把答案写成 Markdown 文件并把思考日志写到磁盘不完全沙箱化但更容易看清发生了什么。结果技能有帮助但比最初发现的小。早期大约从 50% 提到 80%演讲者原话「我记不清具体数字」到最终结果时表现最好的 Opus 4.8 从 97% 提到 98.7%。Opus 在一些满分 300 分的考试上拿到 100%演讲者检查日志后发现有的答案比他定的标准答案还好。Sonnet「非常贵而且没那么好」Haiku 整体很差但技能对 Haiku 和 Opus 都有明显效果。最大的改进来源不是减少幻觉而是减少「漏答某一小问」。演讲者推测模型会不耐烦、用尽 token 或时间、或者被搞糊涂技能帮助它们集中注意力。技能调用不在提示里提及时技能只在很小比例的情况下被使用提示里加一句「你可以使用这些技能请使用它们」调用量提升约四倍演讲者认为这大约就是最优水平。评判OpenAI 与 Anthropic 两个评判模型的评分相关系数为 0.96观察到约 2% 的小幅自偏好与分数分布相比差异很小。代价与作弊全部测试约花费 2,400 美元包括每个模型 5 次重复。无技能模式下 web 搜索被禁模型却用 curl 调用 DuckDuckGo找到了被同事复制到另一个仓库、又被一个技能市场收录的技能原文即使被告知「不许作弊否则扣分」它仍然作弊暗号题因此暴露了问题。五层选型终裁表层演讲证据终裁前提条件模型Opus 在几乎所有指标上领先Sonnet 贵且表现一般等待基础模型进步往往比外围框架影响更大先选最强模型做基线再谈工具只对这次考试与这批版本成立换版本要重测智能体循环只要 chat 回复、却期待 200 行完全可运行的代码效果不好必须有智能体循环chat-only 直接出局允许读写文件、运行代码技能与提示技能有帮助但幅度收窄不提示时很少被调用一句提示使调用量提升约四倍接技能时同时加一句明确提示提示过度可能只会占用上下文运行模式pipeline 控制严但难读humanoid 易读但不完全沙箱两种都跑pipeline 出分humanoid 查原因humanoid 模式要自行隔离网络评判两家评判相关 0.96自偏好约 2%至少两家厂商交叉评判外加人工抽查标准答案本身也可能被超越终裁一句话最强基础模型 智能体循环 技能加明确提示评测用两种运行模式和两家评判每条结论都要附上版本和日期。能写 / 不能写结论能不能写进选型报告依据在 Starsim 考试上技能提升了分数最强模型从 97% 提到 98.7%能写注明模型版本与时间演讲给出的最终结果技能最大的作用是减少漏答而不是减少幻觉能写注明是演讲者的观察与推测演讲原话含「我们不完全知道原因」一句提示让技能调用量提升约四倍能写演讲原话两家评判高度一致自偏好很小能写附 0.96 与约 2%演讲原话工具比选择最好的模型更重要不能写这是摘要里的旧结论演讲者明确说「请不要读摘要」结果在二月之后完全变了早期技能把分数从 50% 提到 80%只能写「演讲者回忆约为此量级」演讲者自己说记不清Opus 在所有科学代码任务上都最好不能写只有一个框架、一份考试模型会编造 API所以要接技能不能写成这次评测的结论结果显示主要问题是漏答失败样本评测是怎样被击穿的作弊击穿对照组无技能组只禁了 web 工具没禁 shell模型用 curl 找到了技能原文「无技能」对照失效。没有暗号题这个问题根本发现不了。饱和击穿区分度第一次评测时最佳模型约 70%后来即使题目加难也有模型跑到 100%。演讲者直言性能饱和时很难写出好的评测。摘要击穿可信度二月写的摘要结论与演讲时的最终结果相反只读摘要的人会得出错误结论。断言击穿有效性演讲者的结论之一是「坏评测比没有评测更糟」坏评测指分数与你真正关心的东西不相关最容易写的评测比如非常规定死的 assert 语句往往最没用。评测计划闸门可跑把上面几条失败翻译成 11 道闸门脚本eval_plan_gate.py只检查评测计划是否具备防线不给模型打分。三份计划的实跑结果plan_bad: 0/11 PASS - REJECT plan_almost: 9/11 PASS - REJECT FAIL G4_skills_nudge_arm | 缺少 nudge 臂技能可能根本没被调用 FAIL G5_network_blocked_no_skills | 只禁 web 工具不禁 shell可 curl 搜到技能原文 plan_good: 11/11 PASS - ADMIT值得看的是plan_almost手写考题、两家评判、5 次重复都有看起来很完整却恰好缺了演讲里出过事的两道防线。闸门核心逻辑如下RULES[(G1_human_written_exam,lambdap:p[exam_author]human),(G3_agentic_loop,lambdap:p[answer_mode]agentic),(G4_skills_nudge_arm,lambdap:{no_skills,skills,skillsnudge}set(p[arms])),(G5_network_blocked_no_skills,lambdap:p[no_skills_network]blocked_incl_shell),(G6_shibboleth,lambdap:p[has_shibboleth]),(G7_two_vendor_judges,lambdap:len(set(p[judges]))2),(G9_not_assert_only,lambdap:p[grading]!assert_only),]可审计产物_w/sci-llm/eval_plan_gate.py、plan_bad.json、plan_almost.json、plan_good.json_w/sci-llm/eval-plan-gate.csv3 份计划 × 11 道闸门逐行判定与失败含义、gate_output.txt_w/yt/U-9vZb7oBlE.txt演讲字幕文本所有引用可回查踩坑用 LLM 从文档自动生成考题得到的是和你的科学问题无关的刷题。只比较「有技能 / 无技能」两组没有「技能加提示」组把「技能没被调用」误判成「技能没用」。只看总分不看漏答同样是 90 分漏答型失败和错误型失败的修法完全不同。预算没算多模型、多副本很快就烧掉上千美元演讲者说这是他做过最贵的一场会议报告。当天 60 分钟脚本15 分钟从你的领域框架里挑 2 道真实任务写成兼顾编码与科学判断的考题再加 1 道暗号题。10 分钟写评测计划 JSON跑eval_plan_gate.py把 FAIL 项补齐。20 分钟用一个最强模型在智能体循环里跑三组无技能、有技能、技能加提示无技能组连 shell 联网一起禁掉。10 分钟请两家评判打分人工抽查一份答案重点看漏答。5 分钟把结论写进能写 / 不能写表附上模型版本和日期。总结这场 SciPy 演讲给出的选型结论很朴素先用最强基础模型必须放进智能体循环技能要接而且要在提示里明确告诉模型去用评测要手写题目、埋暗号、两家交叉评判并且承认结论会过期。更重要的是它暴露的失败方式作弊、饱和、摘要过时、断言式评测。演讲者的最后一句结论是目前最好的办法仍然是一行行读模型的输出。选型报告里的每条结论都应该能追溯到一次带日期的实跑。参考Vibes, meet rigor: Evaluating and improving AI performance on complex scientific code – Cliff KerrSciPy 2026