StartLux-Decision 38 项基准碾压 Jev 31 项：开源决策模型要换天了？

StartLux-Decision 38 项基准碾压 Jev 31 项开源决策模型要换天了【免费下载链接】openjev项目地址: https://ai.gitcode.com/hf_mirrors/AlexWortega/openjev2026 年 9 月底上海原点星辉StartLux开源决策模型系列 StartLux-Decision以 38 项基准中 31 项高于 Jev 1.13 的声势冲进 Jev 掀起的决策模型赛道。在此之前这个品类的叙事几乎由 Jev 独占不生成文本、只输出结构化判断、毫秒级响应System One 决策引擎 成为 2026 年下半年最热的 AI 架构话题之一。StartLux 的出现第一次让开源决策模型超过 Jev从口号变成了一张可逐项核对的成绩单——同时也把一个问题摆到台面上31/38 的领先到底含金量几何本文结合社区榜单口径、厂商自述与开源仓库 openjev 的源码实践拆解这组数字背后的评测设计、数据边界与工程启示。Decision Index 0.2.138 项基准从哪来分数怎么算要理解 31/38先要看 38 项基准是什么。StartLux 官方公布的成绩基于Decision Index 0.2.127B 档综合得分 63.88高出当日公开榜单最高分 Jev 1.1357.915.97 分9B 档 58.63 也高于 Jev。Decision Index 是一个社区维护的榜单项目定位是追踪 Jev 的开放复现版评测代码 MIT 许可、任何人可自行运行——这是它的价值所在但也是口径问题的高发区。把这组数字摊开有三个限定缺一不可评测工具与题集是第三方冻结的可复现Decision Index 与 StartLux 无利益关联与 Jev 持有方也无关联工具链本身可信跑分的是厂商自己结果未上榜StartLux 的分数是自己下载评测工具运行所得官方 README 明确写了 our runs are not on the board未经榜单方复核对照组来自榜单快照不是同一次运行Jev 1.13 的 57.91 取自 2026-09-28 的公开快照与 StartLux 的自测分数存在评测环境差异。更关键的一条数据边界写在官方表格的脚注里38 项基准中有14 项以 † 标记的公开训练集参与了 StartLux-Decision 的训练对应测试题已从训练数据中过滤。官方主动披露这一点是加分项但读者必须把它读成31 项领先里有 14 项所在的基准与其训练数据存在同源关系。此外Decision Index 的每个格子都经过随机基线校正chance-corrected0% 代表随机猜测带 ★ 的基准权重为 1.2综合分是加权均值而非简单平均——拿它和 raw accuracy 表格混读会得出错误结论。在这个口径体系之外还有另一组更接近原始准确率的数字公开 JevBench 231 题Easy 48 / Original 72 / Hard 111。StartLux-Decision-27B 答对 208 题Jev 1.13 答对 199 题其中 Hard 层 111 道难题27B 错 23 题、Jev 错 31 题差距集中在难题层——Easy 层双方都是满分 48。上海 AI 实验室发布 Intern-Decision 时采用的七项评测中27B 平均准确率 91.82%高于 Jev 的 88.74% 与 Intern-Decision-4B 的 90.02%。需要说明的是231 题并非官方 JevBench 总分后者还包含密封层、速度与成本且只由维护方测量。31/38 的含金量场景代表性 vs 刷榜嫌疑31 项高于 Jev 是一个总计数拆开看领先的来源并不均匀。官方给出的分领域得分中语言理解 74.5 对 62.0、检索与分类 66.8 对 55.4、工具与自动化 82.2 对 75.1StartLux-Decision 全面领先但知识与推理领域是 Jev 1.13 领先44.3 对 51.4API-Bank 等单项也未能反超。这意味着综合领先不等于能力全面领先决策模型的选型仍应回到具体任务你的智能体是频繁处理条件理解、候选区分与工具选择StartLux 的强项还是依赖深度的知识推理与数值判断Jev 的保留地有两组细节比总分更能说明问题第一规模与准确率并不单调。在公开 JevBench 231 题上4B 档答对 204 题高于 9B 档的 201 题七项评测中 4B91.17%也略高于 9B91.08%。档位越高越准在这条产品线上不成立按任务挑档必须靠实测而非参数排序。第二延迟是独立维度最高分不等于最快。官方公布的单卡 H200、BF16、短请求一次回答三个问题时延为0.8B 12.2ms、2B 15.5ms、4B 26.0ms、9B 35.7ms、27B 102.3ms、35B-A3B 52.5ms。27B 不仅不是最快的102.3ms 还慢于 Jev 1.13 的 64.0ms——尽管后者的 64.0ms 是 API 网关上报的服务端耗时与 H200 本地测试并非同一统计口径不能直接相减。同型号内部4B 档开启 CUDA Graph 从 90.3ms 降到 26.0ms说明工程优化对决策延迟的贡献甚至大于换档。另外值得一提的是量化复测4B 档 Q8_0 在 231 道公开题上与原始权重决策一致率 100%Q4_K_M 为 98.3%但在 0.8B 与 2B 小档位上Q4_K_M 的一致率掉到 93.1% 与 94.4%——小模型上省下的显存会直接换成答案变化率。把这些限定放回 31/38 的表述中可以得出一个相对公允的结论这组数字不是第三方认证的全面碾压而是同一套第三方题集上厂商自测的逐项对比其中多数领先、少数落后且领先项与训练数据存在部分同源。它的价值不在于换天了三个字而在于决策模型第一次有了可复现的逐项对比基准——任何人都能下载 Decision Index 自己跑一遍。这比任何总分都更接近真相。对 openjev 与开源决策模型阵营的启示StartLux-Decision 的发布恰好落在这个品类的结构性拐点上当不止一家开源实现宣称超过 Jev时胜负手已经从模型能力转移到评测可信度与部署成熟度。仓库 openjev 的实践恰好示范了开源阵营应当如何应对这三重拷问。其一接口形态在收敛开放实现可以共用同一协议。Jev 定义了 noul / choice / score 三种问题类型与状态 问题的调用原语StartLux-Decision 采用 TypeSafe 的/v1/systemone接口并兼容原有 Jev 客户端数据结构而 openjev 的 serving 网关同样实现了/v1/systemone见 decisions_server.py并通过 openjev_decide.py 直接充当 JevBench 的local_openjev适配器——每个选项变成一条 hypothesis用 P(entailment) 归一化得到选项分布README.md 中声明为probability_method: normalized_entailment_v1。三条不同的开源路径指向同一个接口形状意味着决策模型正在形成事实标准这对生态是好事应用层不必为每家重写集成。其二评测口径的诚实度正在成为开源模型的分水岭。openjev 在这一点上做得相当激进RESULTS-v5.md 开篇即声明 v5 训练混合包含了 MMLU、ARC、GSM8K 等基准的 TRAIN 和 TEST 划分完整清单写在 panel_manifest.json并明确写道这些基准上的数字对这个 checkpoint 毫无意义不予报告数据构建器 data_mix.py 内置BANNED集合从训练管线层面拒绝任何评估集渗入。反观 StartLux 的 † 标记披露二者殊途同归披露边界本身成为可信度的第一道门槛。对读者而言面对任何碾压宣称第一件事是查三样东西——评测是否第三方复核、训练数据与基准是否同源、对照是否同一次运行。其三确定性是决策模型的隐性契约必须被显式测量。决策模型的价值前提是同一输入永远给出同一判断。openjev 用 order_test.py 在全部 231 道公开 JevBench 题上做了四重测试同序复跑、反转、打乱标签翻转 0/231最大概率变化 1.8e-7 量级StartLux 则用量化复测报告决策一致率。两个阵营不约而同把确定性写进评测说明这个品类正在建立自己的工程纪律。最后回到 openjev 的能力画像同为 Qwen3.5 基座的决策模型openjev 在 JevBench 公开题上的成绩4B v5 全公开 0.814、hard 0.622同 231 题上 Jev 1.13 为 0.87说明Jev 在难题层仍然保有明确优势而开源实现的主战场是够用的判断 可部署的成本 可验证的口径。StartLux-Decision 的真正冲击不在于把 Jev 从某个榜单第一挤下来而在于它把决策模型的选型问题从谁更准改写成三个工程问题哪一档配哪一类任务、许可能不能用其权重为 CC BY-NC 4.0、商业需单独授权代码为 Apache-2.0、部署要占多少显存与哪些内核依赖flash-linear-attention与causal-conv1d缺一不可且判定逻辑不在 GGUF 权重内需额外 server 层。当一道题的答案必须由这三行共同决定时换天与否已经不重要了——开源决策模型阵营真正要竞争的是让这三行成本曲线变得透明、可预期、可复现。【免费下载链接】openjev项目地址: https://ai.gitcode.com/hf_mirrors/AlexWortega/openjev创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考