首页/新闻资讯/正文详情

蚂蚁:支付领域新评测,从打分到诊断

发布时间:2026/9/26 16:25:58 来源:云帆数科 栏目:资讯中心
蚂蚁:支付领域新评测,从打分到诊断
标题BENCHCOMPASS: From Scores to Signals for Training and Harness Decisions in Payment-Domain LLMs来源arXiv, 2609.18270v1️文章简介研究问题现有基准测试无法区分大模型在支付领域的失败是源于缺乏专业知识、未能利用提供的证据还是在面对不完美输入时的脆弱性如何精准定位这些能力短板主要贡献论文提出了BenchCompass一个由专家审核的支付领域基准测试及构建流水线能将模型表现转化为具体的诊断信号指导训练和工程优化。重点思路构建基于文档的诊断流水线利用LLM辅助从版本化的支付文档中生成基于场景的任务结合类型化证据包和布鲁姆分类法控制难度并通过LLM质量网关进行初步筛选最终由领域专家决定收录确保题目的高质量与可追溯性。设计三种评估设置以分离故障模式Closed设置仅凭模型参数知识作答测试领域知识储备Open设置提供充分证据测试基于上下文的推理能力Attacked Open设置在保留正确答案的前提下引入干扰信息测试模型在面对不完美输入时的鲁棒性。实施任务输入攻击以检验鲁棒性针对通过Open测试的题目生成保持答案不变的扰动变体如子规则前提崩塌、规则覆盖缺口过度泛化、先验反转等专门评估模型在误导性或信息缺失场景下是否仍能遵循正确逻辑。将分数转化为诊断信号通过对比不同设置下的表现将失败归因为参数知识缺失、上下文使用间隙或对抗环境下的脆弱性从而为后续的知识增强、检索优化或提示词工程提供明确方向。分析总结提供上下文能显著修复知识类错误在封闭环境下许多模型因缺乏特定支付规则知识而失败但在开放环境下提供相关规则后大部分此类错误得以纠正表明许多失败源于知识访问而非推理无能。上下文推理仍存在明显差距即使提供了充足证据顶尖模型在复杂场景推理上的准确率也未饱和最高89.6%主要错误集中在多规则综合、范围边界判断及异常处理上说明模型在深度理解与应用规则方面仍有不足。模型对误导性输入表现脆弱在受到攻击的输入设置下模型性能显著下降尤其是中等规模模型。即便拥有正确规则模型仍可能遵循看似合理但无效的工作流显示出对层级规则适用性和冲突处理的薄弱。不同故障模式指向不同优化路径实验表明提升支付领域能力不能仅靠单一手段需根据诊断信号分别加强领域知识训练、改进上下文推理机制或增强对规则适用性的验证能力。个人观点论文像医生一样通过“控制变量”的实验设计有无上下文、有无干扰来给大模型“确诊”揭示了支付场景中“知道规则”和“会用规则”是两回事特别是在面对现实世界中混乱、冲突的信息时模型的鲁棒性远比我们想象的要差。

相关推荐

KXT单球橡胶软接头选型:口径、压力和法兰条件如何确认
KXT单球橡胶软接头选型:口径、压力和法兰条件如何确认

选 KXT单球橡胶软接头能不能现在就定下来,取决于三组条件是否已经明确:管线口径(公称通径 DN)、系统压力等级、以及两端法兰的标准与配对尺寸。三者任意一项不清楚,都只能先给核对路径,而不是直接落到某个规格。下面按“先工况、后型号”的顺序,说明每步要确认什么、为什么影响… · 2026/9/26 16:25:51

秦皇岛靠谱的靓语播音培训学校推荐有哪些
秦皇岛靠谱的靓语播音培训学校推荐有哪些

什么是播音主持艺考,零基础新手怎么入门?播音主持艺考是国内艺术类高考的重要分支,是针对想要报考播音主持及相关传媒类专业的高中学生设置的专业选拔考试,主要分为河北省统考与全国院校校考两个核心板块。在河北省,播音主持艺考… · 2026/9/26 16:25:51

Atlas 300V 24G部署YOLO全记录:从模型转换到推理调优的实战指南
Atlas 300V 24G部署YOLO全记录:从模型转换到推理调优的实战指南

搞AI推理的兄弟们应该都有这个感受:GPU一卡难求、价格离谱的年头,想找一条能落地、功耗又可控的推理路径,真得把眼光放宽一点。这两年我陆续在几个项目里用了华为昇腾的Atlas系列加速卡,尤其最近在一台服务器上折腾了Atlas 300V 2… · 2026/9/26 16:25:45

微盘微交易PHP源码部署与安全审计实战指南
微盘微交易PHP源码部署与安全审计实战指南

简介:这是一份以PHP编写的微盘微交易平台源码,面向具备一定PHP开发基础、希望搭建小型金融交易系统或研究交易平台架构的技术人员。资源包整体19.41MB,共包含4362个文件,其中2854个PHP脚本构成交易核心逻辑,辅以PHPT测… · 2026/9/26 16:56:36

CentOS 7离线部署Harbor镜像仓库:离线安装包详解与避坑指南
CentOS 7离线部署Harbor镜像仓库:离线安装包详解与避坑指南

简介:这是一份面向运维工程师与容器平台建设者的 Harbor 离线安装资源包,对应 v2.5.0-rc1 版本,适合在无外网或内网隔离环境中快速搭建镜像仓库。包体共 6 个文件,总大小约 623.92MB,以安装脚本(sh&#xf… · 2026/9/26 16:56:36

HIS系统部署与二次开发实战:从数据库初始化到挂号收费主链路
HIS系统部署与二次开发实战:从数据库初始化到挂号收费主链路

简介:一套面向小型诊所和医疗机构的轻量级HIS(医院信息系统)源码包,基于ASP.NET Web技术构建,覆盖病患管理、挂号、药品、收费、统计报表、医生排班和患者追踪等核心模块。压缩包共451个文件,约7.05MB&… · 2026/9/26 16:56:36

从零开始用Docker Compose部署Cloudreve,打造你的私人云盘
从零开始用Docker Compose部署Cloudreve,打造你的私人云盘

最近好几个朋友跑来问我,说网盘空间越来越少,下载还限速,想把文件放在一个真正属于自己的私人云盘里。其实这件事真没有想象中那么高门槛:你不需要专门买一台昂贵的NAS,只要手头有一台能跑Docker的Linux机器&#xff0… · 2026/9/26 16:56:29

训练数据投毒原理与防御:从后门攻击到供应链安全
训练数据投毒原理与防御:从后门攻击到供应链安全

1. 先搞清楚:训练数据投毒到底是怎么“毒”到模型的很多人一听到“训练数据投毒”这六个字,第一反应是黑客往数据库里塞病毒脚本,或者在训练集里混入一堆恶意图片让模型崩溃。半对。往训练集里塞恶意样本是真的,但“毒”的逻辑远比… · 2026/9/26 16:56:29

HIS系统源码实战:ajax+json+javascript交互解析与部署指南
HIS系统源码实战:ajax+json+javascript交互解析与部署指南

简介:这份HIS系统前端源代码包,面向医疗信息化开发者与前端学习者,围绕医院信息系统常见的用户端功能展开,包含登录注册、预约挂号、病历查询和药方管理等页面,可帮助读者快速建立医疗系统前端功能模块的整体认知。资源… · 2026/9/26 16:56:29

数据库课后习题答案别硬背:当测试用例集刷,效率翻倍
数据库课后习题答案别硬背:当测试用例集刷,效率翻倍

简介:万常选版《数据库原理与设计》课后习题答案资源,覆盖第2至6章及第9章,适合正在学习关系模型、数据库建模、关系数据理论与模式求精的本科生、自学者作为复习与自测材料。压缩包共7个文件,含3个doc参考答案、2个sql示例脚本、… · 2026/9/26 0:00:21

OpenClaw 替代品?Hermes Agent 踩坑实录:macOS 飞书接入 TaoToken 配置
OpenClaw 替代品?Hermes Agent 踩坑实录:macOS 飞书接入 TaoToken 配置

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/26 0:00:40

向下兼容与向上兼容:接口设计中的兼容性策略与工程实践
向下兼容与向上兼容:接口设计中的兼容性策略与工程实践

一次版本升级事故,是很多团队绕不过去的坎。线上环境里,服务端明明已经上线了新版接口,老的移动端还在照着旧文档传参数。请求一到网关,校验直接拒绝,用户操作失败,客服群炸了锅,开发群里开始互… · 2026/9/26 0:00:46

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码