首页/新闻资讯/正文详情

被误判的大模型:物理学专家复审揭示基准测试危机与AI能力的“近饱和”真相

发布时间:2026/9/27 8:58:31 来源:云帆数科 栏目:资讯中心
被误判的大模型:物理学专家复审揭示基准测试危机与AI能力的“近饱和”真相
被误判的大模型物理学专家复审揭示基准测试危机与AI能力的“近饱和”真相耶鲁大学、剑桥大学和南加州大学联合发表名为How Good Are Frontier Models at Physics? Expert Re-Grading Reveals Broken Evaluations and Near-Saturation of Leading Benchmarks论文其研究探讨了前沿LLM在解决高级物理问题时的真实水平指出目前的评估标准严重低估了它们的实际能力。研究团队通过对六个主要物理基准进行专家级审计发现大量所谓的模型错误实际上源于题目定义模糊、参考答案错误或评分程序僵化。在修正了这些基准缺陷并排除问题题目后诸如GPT-5.6-Sol等模型的得分出现了大幅跃升在多个测试中接近满分。结果表明当前的闭口物理题目已趋于性能饱和难以有效区分顶尖 AI 的推理差异。作者因此呼吁开发更具挑战性且经过专家验证的新一代评估工具以准确衡量人工智能在科学探索领域的进步。另外前沿LLM在面对理论物理中的开放性未解难题Open Research Problems时明显遇到瓶颈需要新的方法和工具解决该问题。核心结论1. 现有物理基准测试严重低估了前沿大模型的真实水平论文指出此前行业报告中记录的大模型在物理测试中的“低分”主要源于评估流程破损Broken Evaluation Pipelines而非大模型物理推理能力的真实缺陷。2. 模型表现“不佳”主要是因为基准测试本身的缺陷与打分失误耶鲁大学等机构的物理专家对 250 个被传统评估系统判定为错误的回答进行了审查发现95.2% 的“失败案例”归咎于测试材料或打分机制题目/参考答案缺陷Benchmark Errors, 占 57.2%包括参考答案计算错误、题目未给出必要的物理假设如坐标/符号约定、边界条件或归一化常数、以及条件不自洽。评分器失误Grader Errors, 占 38.0%基于规则的传统评分器如 SymPy 或 EED过于机械拒绝了模型给出的数学等价表达、不同正负号约定或因子顺序变动。真实模型错误Model Errors, 仅占 4.8%在所有被拒回答中仅有 12 个是模型自身真正的物理逻辑或推导错误。3. 专家更正后大模型在主流物理基准上趋于“近饱和”状态当专家修复了有缺陷的题目和参考答案并允许数学上等价的表达后前沿模型如 GPT-5.6-Sol、Claude Fable 5、Gemini 3.1 Pro的得分出现了爆发式增长HLE-Physics人类最后考试-物理部分GPT-5.6-Sol 的平均准确率从 47.3% 暴涨至78.7%pass4 达到91.4%。CMT-Benchmark凝聚态理论测试得分从 61.0% 提升至87.2%pass4 达到98.0%。CritPt前沿物理关键点测试得分从 32.3% 跃升至87.5%pass4 达到94.4%。PRISM-Physics与PHYBench修正后得分分别高达94.6%和90.2%。4. 出现了“测试缺陷天花板”效应当模型的实际物理能力大幅提升、真实错误率降至极低水平时测试得分不再由模型能力决定而是受限于基准测试自身的缺陷率20%~50%。这意味着对于所有表述清晰、有标准答案的闭卷物理题closed-ended physics problems前沿大模型的能力已经达到或接近饱和天花板。5. 闭卷题饱和 vs 开放性科研难题的瓶颈论文同时强调闭卷测试的饱和并不意味着大模型已经具备独立开展前沿物理研究的能力。当研究人员使用智能体框架Agentic Harnesses让大模型尝试攻克理论物理中的开放性未解难题Open Research Problems时模型尚未能完整解决任何一个未解难题。因此作者呼吁学术界建立经专家严格验证、难度更高的新一代物理基准测试。https://arxiv.org/html/2609.13009v1

相关推荐

Type from Value(从值推导类型):TypeScript 类型推断的起点与实战指南
Type from Value(从值推导类型):TypeScript 类型推断的起点与实战指南

文档教程 【免费下载链接】typescript-book The Concise TypeScript Book: A Concise Guide to Effective Development in TypeScript. Free and Open Source. 项目地址: https://gitcode.com/gh_mirrors/typ/typescript-book 点击查看 免费下载 本篇技术指南围绕《… · 2026/9/27 8:58:25

5分钟快速搭一个AI数字分身:自己.skill安装与首次运行教程
5分钟快速搭一个AI数字分身:自己.skill安装与首次运行教程

5分钟快速搭一个AI数字分身:自己.skill安装与首次运行教程 【免费下载链接】yourself-skill 与其蒸馏别人,不如蒸馏自己。欢迎加入数字永生!Inspired by colleague-skill(同事skill)。 项目地址: https://gitcode.co… · 2026/9/27 8:58:01

BabelDOC PDF翻译快速上手:三条命令装好环境,保留原版式翻出双语论文
BabelDOC PDF翻译快速上手:三条命令装好环境,保留原版式翻出双语论文

BabelDOC PDF翻译快速上手:三条命令装好环境,保留原版式翻出双语论文 【免费下载链接】BabelDOC Yet Another Document Translator 项目地址: https://gitcode.com/GitHub_Trending/ba/BabelDOC 用浏览器逐段翻译英文论文、公式和双栏排版乱成一锅… · 2026/9/27 8:58:01

青岛信息推广网站避坑指南:3个实战案例拆解真实报价
青岛信息推广网站避坑指南:3个实战案例拆解真实报价

青岛信息推广网站避坑指南:3个实战案例拆解真实报价 别再看那些花里胡哨的模板站了,丑且难用,根本接不住客户。 我在青岛做了十年建站,见过太多甲方拿着两三千块的“成品站”去推广,结果连搜索引擎都抓不住权重。… · 2026/9/27 9:30:03

奉化首页的关键词优化速查手册
奉化首页的关键词优化速查手册

奉化首页关键词优化怎么选才不踩坑 做奉化本地网站的老板们,是不是经常盯着后台数据发愁?明明花钱做了个站,访客进来转一圈就走了,连个询盘电话都没有。很多人第一反应是:我的网站是不是太丑了?或者说,模板网站太丑不够用,是不是换个高颜值的模板就能… · 2026/9/27 9:29:57

织梦5.5模版安装上去为什么打开网站图片不能显示教程怎么选
织梦5.5模版安装上去为什么打开网站图片不能显示教程怎么选

织梦5.5图片不显?对比评测3种修复方案,避开域名服务器坑 域名服务器配置搞不懂,织梦5.5模板装完图片全裂开,这简直是新手建站最崩溃的瞬间。别急着骂服务器,十有八九是路径没对上或者权限没给够。我做了组对比评测,把三种主流修复方案扒了个底朝… · 2026/9/27 9:29:57

After Effects (AE)2026超详细保姆级安装教程
After Effects (AE)2026超详细保姆级安装教程

一、为什么一定要升级AE2026? 1. 3D功能大爆发,不用再依赖C4D了 以前做个简单的3D立方体,还要先开C4D建模再导进AE里,来回切换软件简直是噩梦。这次2026版本直接把3D功能拉满了,内置了立方体、球体这些基础的参数化模… · 2026/9/27 9:29:51

Python 比较运算符与逻辑运算符的返回值
Python 比较运算符与逻辑运算符的返回值

1. 比较运算符 常见的比较运算符&#xff1a; > < > < !在 Python 的常见基础用法中&#xff0c;比较运算符返回的是 bool 类型&#xff1a; 3 > 2 # True 5 4 # False 10 ! 8 # True比较运算符 → 返回 bool2. 逻辑运算符 Python 中… · 2026/9/27 9:29:45

WRITE_EXTERNAL_STORAGE no longer provides write access when targeting Android 10
WRITE_EXTERNAL_STORAGE no longer provides write access when targeting Android 10

targetSdkVersion 29 后&#xff0c;突然发现无法写文件了。targetSdkVersion 29&#xff0c;可以在 manifest 里加 android:requestLegacyExternalStorage"true"API30 以上只能使用应用私有文件‌&#xff1a;context.getExternalFilesDir()。 · 2026/9/27 9:29:45

MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现
MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现

简介&#xff1a;这套Matlab仿真工具完整呈现雷达信号脉冲压缩过程&#xff0c;从线性调频&#xff08;LFM&#xff09;信号生成、目标回波仿真到匹配滤波压缩处理均有可运行代码支撑&#xff0c;面向电子信息工程、计算机、数学等专业学生&#xff0c;适用于课程设计、期末大作… · 2026/9/27 0:00:01

汕头网站建设制作厂家避坑指南:5大注意事项救急
汕头网站建设制作厂家避坑指南:5大注意事项救急

汕头网站建设制作厂家避坑指南:5大注意事项救急 改个需求建站公司拖一周,这种憋屈事我见得太多了。 很多汕头老板找本地建站团队,签合同前看着方案挺美,一上线就变脸。 今天不聊虚的,直接拆解找 汕头网站建设制作厂家 时的5个核心 注意事项… · 2026/9/27 0:00:01

多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习
多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习

简介&#xff1a;基于PyTorch的多模态虚假新闻检测项目完整代码包&#xff0c;面向自然语言处理与计算机视觉交叉方向的开发者、科研人员及毕业设计选题者&#xff0c;解决社交媒体中文本与图像联合识别虚假新闻的问题。系统以BERT预训练模型提取文本语义特征&#xff0c;以Res… · 2026/9/27 0:00:01

MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现
MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现

简介&#xff1a;这套Matlab仿真工具完整呈现雷达信号脉冲压缩过程&#xff0c;从线性调频&#xff08;LFM&#xff09;信号生成、目标回波仿真到匹配滤波压缩处理均有可运行代码支撑&#xff0c;面向电子信息工程、计算机、数学等专业学生&#xff0c;适用于课程设计、期末大作… · 2026/9/27 0:00:01

汕头网站建设制作厂家避坑指南:5大注意事项救急
汕头网站建设制作厂家避坑指南:5大注意事项救急

汕头网站建设制作厂家避坑指南:5大注意事项救急 改个需求建站公司拖一周,这种憋屈事我见得太多了。 很多汕头老板找本地建站团队,签合同前看着方案挺美,一上线就变脸。 今天不聊虚的,直接拆解找 汕头网站建设制作厂家 时的5个核心 注意事项… · 2026/9/27 0:00:01

多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习
多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习

简介&#xff1a;基于PyTorch的多模态虚假新闻检测项目完整代码包&#xff0c;面向自然语言处理与计算机视觉交叉方向的开发者、科研人员及毕业设计选题者&#xff0c;解决社交媒体中文本与图像联合识别虚假新闻的问题。系统以BERT预训练模型提取文本语义特征&#xff0c;以Res… · 2026/9/27 0:00:01

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码