测试意图精准定义：从模糊Prompt到可度量的大模型输出规格

如果你也像我一样在调试大模型输出时经常遇到一种“说不清”的失败——AI没有报错回答也流畅但结果就是不对味那这篇文章很可能就是为你写的。我最近在给一个客服工单分类模块做回归测试模型在Golden Set上的准确率从93%涨到了97%人工复核却发现大量“投诉”被分进了“咨询”。代码没动参数没调prompt只改了一句。问题不在模型也不在测试用例而在我们根本没有把测试意图说清楚。所谓测试意图就是你对AI这次行为的所有期待与限制。而AI输出偏差绝大多数时候不是因为模型蠢而是因为意图里留了太多空白。这篇内容适合所有跟AI输出打交道的朋友AI应用开发者、测试开发工程师、Prompt工程师、AI产品经理以及每个想把大模型真正用进业务流程的人。我会用自己的真实项目和踩坑过程讲讲怎么把一句话式的模糊要求变成机器能理解、人能验收、回归能度量的完整规格。1. 输出偏差的第一现场不是模型不行是意图没说完1.1 偏差长什么样不是“错误答案”是“无效正确”传统测试里一个bug通常很明确该返回1的时候返回了0该跳转A页面却跳到了B页面。但AI项目的偏差往往更阴险——它给你一个在语法上完整、结构上合理的输出语义上却不满足业务要求。你拿给业务方看人家说“这不对”但你在代码里找不到任何报错模型也没有崩。我遇到过最典型的例子是“退款多久到账”这条工单模型非常有礼貌地把它归类为“咨询”但实际上用户语气里已经带着明显的催促和不满业务上应该标记为“投诉倾向”。模型没有犯错它只是不知道“测试意图”里对“投诉倾向”的定义包含了“用户表达不满情绪”这一维度。这就是“无效正确”听起来通顺、结构没毛病但用在业务链路上会带偏后续所有环节。这类偏差很耗人因为你会本能地去查代码、查数据、查模型参数查一圈下来都怀疑是自己幻觉了。1.2 把偏差按“意图缺口”分类我后来把工作中遇到的输出偏差按意图缺口做了归类发现大部分问题都可以落到四种类型里。偏差类型典型表现意图缺口示例范围漂移输出覆盖过宽或过窄没说明样本范围和任务边界让AI“分析用户反馈”结果物流问题和商品质量问题混成一团标准漂移评判尺度忽松忽紧没定义“什么算合格”“总结要点”有时给出3条有时给出15条长度完全看心情边界失控处理了不该处理的输入没定义禁区与拒绝策略用户输入“你们是骗子”模型竟然顺着情绪回了一句不恰当的应答上下文丢失忽略关键限定条件缺少约束优先级明明要求“只统计近30天数据”模型却把全量历史数据都算进去了这个表我一直贴在工位上。每次看到输出不对第一反应不是骂模型而是把对应的意图缺口找出来。一套流程走完85%的偏差都能定位到人——准确说是定位到我们需求描述得不够严谨。1.3 哪些项目最容易栽在意图上不是所有AI项目都会严重受输出偏差影响但有几类项目踩雷概率极高具备以下特征的项目要多留意还没有建立评测集只靠三五条示例prompt来回试示例里全是正例没有一条“什么算错”的反例prompt变更频率很高一天改好几版但没有任何版本记录下游环节由另一个系统处理AI输出AI输出格式稍有变化就会引发连锁问题用了Agent或工具调用的多步任务——意图在其中漂移一步后面整个链路都会偏。尤其是最后一种AI Agent场景我最近体会很深。如果顶层测试意图只写了“帮用户处理售后需求”模型就可能自主决定调用查询接口、发送补偿方案甚至做出超出权限范围的承诺。多步任务会把模糊意图放大成系统性风险这正是“测试意图精准定义”在今天变得如此重要的原因。2. 意图定义五件套把“差不多”变成可执行规格2.1 任务主干一个动词一个对象一个范围第一步看起来简单但很多人栽在这里。任务主干要用“动词对象范围”的结构写清楚不要用形容词代替。模糊的表达是“分析用户反馈”“优化回复质量”“提炼对话重点”。这些都对但AI不知道怎么执行。精准的写法是“从客服对话记录中抽取用户明确表达的诉求点输出诉求列表并识别诉求是否已经解决。”我自己的检查方式是读完一句任务描述后问两个问题动词是否只有一个对象是否足够具体如果一句话里能找出三四个动词说明任务还没想清楚。做这个动作的目的是让模型进入正确的行为空间。生成式AI在自回归解码时只能根据上下文和概率分布去猜你的任务主干越聚焦它猜偏的概率越低。2.2 输入空间明确样本从哪里来第二步是定义输入空间。很多测试意图只写了“对输入进行处理”却没有说明输入的范围。输入样本可能包含各种情况至少要明确数据来源、语言、长度、格式、以及特殊样本如何处理。我负责的工单模块要求模型处理纯文本工单但没有定义长度上限。某天线上进来一条超长工单模型直接截断输出下游系统解析失败。后来我在意图里明确写入“输入为单条工单文本长度不超过1000字超过部分不进行摘要直接标记为overflow。”这就把“所有文本都处理”的隐含假设变成了显式约束。还要说明变体覆盖是否包含中英混排是否包含emoji是否包含乱码模型对这些变体的默认处理方式未必符合业务预期。你提前定义输入空间就是在帮模型缩小“隐藏的假设范围”。2.3 输出契约结构化才可校验没有结构的AI输出就像没填混凝土的钢筋看着是那么回事一压就垮。输出契约要定义到字段级别格式、类型、枚举值、缺失处理。下面是我常用的一种输出契约描述方式输出JSON格式 { category: 咨询 | 投诉 | 退换货 | 其他, summary: 不超过50字的中文摘要, order_id: 字符串从原文抽取未找到返回null, urgent: 0 | 1 }写清楚输出契约的好处是让下游校验逻辑非常简单。category不在枚举值内直接判失败order_id为null但业务要求必填也会立刻暴露。没有字段级约束你只能在人工抽检时凭感觉发现“好像有点怪”。一定要用“确定性描述”而不是“感觉性描述”。比如不要写“总结要精炼”要写“summary字段不超过50字必须包含用户核心诉求不得出现主观评价”。模型对“精炼”没有概念但对“不超过50字”有。2.4 约束与禁区哪些情况必须停下只定义做什么不定义不做什么是测试意图里最常见的破洞。模型默认情况下会努力满足你的正向要求但遇到它理解不了、处理不了或不应该处理的情况时它往往会硬着头皮编一个答案。这一步要写明三类情况拒绝触发条件、脱敏要求、降级策略。比如在工单场景可以定义“若原文包含辱骂性词汇不输出回复建议仅在summary字段标注‘需人工介入’若原文包含身份证号、手机号等个人信息脱敏后仅输出后四位。”这块看起来像“锦上添花”实际是拦截重大问题的高性价比投入。我见过不少项目因为没定义禁区AI把用户的手机号原样输出到日志里或者面对恶意输入给出完全失控的应答最后测试意图补上一条拒绝策略问题立刻消失。2.5 成功标准能打分才算定义完第五件套最容易被忽视成功标准。它要定义“什么算对”、对到什么程度、用什么指标度量。不要写“准确”“相关”“高质量”这类词。要写分类准确率不低于95%抽取字段的F1值不低于0.85摘要必须覆盖全部待办事项。这些标准不需要一开始定得很精确可以先设定一个基线再逐步收紧。但没有成功标准你根本没法判断一次prompt改动是在变好还是变坏也没法说服团队其他人“现在的输出是可接受的”。成功标准还有一个额外作用它是模型评估集和评分卡设计的输入。先定标准再建评测集评测集反过来检验标准是否合理形成一个可以滚动的闭环。3. 实战改造从一句模糊话到一份验收单3.1 案例A客服工单分类从一句提示词到完整定义最初我们在工单分类模块里写的是“请对以下客服工单进行分类分为咨询、投诉、退换货、其他四类。”听起来没毛病但上线后召回率很差投诉类工单大量漏判。用户经常在工单里一边问“怎么退货”一边表达强烈不满模型只看到了“退货”这个业务动作忽略了“用户情绪激动”这个信号。我用五件套重写后的版本如下任务对单条客服工单进行类别判定。 输入一条用户提交的工单文本不超过1000字。 输出 { category: 咨询 | 投诉 | 退换货 | 其他, evidence: 从原文中摘录的关键句子最多3条 } 判定规则 - 咨询用户询问流程、进度、政策无抱怨情绪。 - 投诉用户表达不满、催促、质疑即使同时包含退换货需求也优先判定为投诉。 - 退换货用户明确要求退货、换货、退款且无不良情绪表达。 - 其他涉及以上以外的内容。 注意事项 - 若原文同时包含投诉情绪和退换货需求必须选择“投诉”并在evidence中保留退货相关句子。 - 原文长度超过1000字时仅分析前1000字并在输出中增加truncated: true。改完后跑同一批评测数据投诉类工单的召回率从72%提升到了91%。没有换模型没有调参只把意图里的漏洞补齐了。关键就是那句“即使同时包含退换货需求也优先判定为投诉”——之前模型看到“退货”就归到退换货是因为它认为“业务动作”比“情绪信号”优先级更高而意图没有告诉它该听谁的。3.2 案例B信息抽取中的缺失值与冲突值第二个项目是从工单里抽取结构化字段订单号、问题类型、紧急程度。最初的意图就一句话“抽取关键字段并输出JSON”。结果模型表现得天马行空原文里根本没有订单号它自己编造一个“123456”原文前后提到两个订单号它只取第一个也不告诉我们有冲突。五件套改造时我专门补了缺失值和冲突值的处理逻辑字段抽取规则 - 订单号仅允许从原文中直接抽取格式为10位或13位数字。原文不存在时输出null严禁编造。 - 问题类型从枚举值[物流, 质量, 售后, 其他]中选择。原文未明确时输出null。 - 紧急程度0或10表示无紧迫性词汇1表示原文出现“尽快、立刻、着急、投诉”等关键词之一。 - 冲突处理原文出现多个订单号时输出全部订单号数组禁止只取一个。加上这段之后编造订单号的问题清零。模型不是故意造假它只是不知道你不知道原文里没有订单号。你的意图没有告诉它“缺失时怎么办”它就只能按照语言模型最自然的习惯——补一个看起来合理的值。3.3 三个总被忽略但极其重要的细节第一示例要成对给。每个正向示例都要配一个反向示例比如“以下输入不是投诉退款流程的询问即使包含问句”。只给正例模型很容易从示例中提取出错误规律。第二把可变部分和强约束分开写。prompt里需要频繁变化的业务参数比如类目列表、关键词清单单独用占位符或变量表示强约束词“必须”“禁止”“不允许”则要紧跟具体规则不要和示例混在一起。第三意图定义版本化。我推荐把prompt和意图定义放进代码仓库和代码走同一次PR评审。你可以看到某次意图改动对评测集的影响出现问题也能快速回溯。用Excel管理几十版prompt的人早晚会在某次误改后付出十倍时间。4. 偏差回归防线评测集、评分卡与基线锁定4.1 为什么“跑通一次”不能信大模型的输出带有随机性哪怕temperature设为0不同版本的模型、不同的显存压力、不同的服务部署方式都可能导致输出差异。一个人拍着胸脯说“我测过了能跑通”往往只是在他的电脑上跑通了那一条case而且是唯一一次。我在项目里强调任何意图定义都要配三类评测样本正常样本、边界样本、异常样本。没有这个基础“避免AI输出偏差”就只是一句口号。4.2 评测集怎么搭建以工单分类项目为例我搭了一个50条样本的Golden Set分布如下样本类型数量说明正常样本25各类别均匀分布语气规范边界样本15投诉与咨询边界模糊、同时含多个业务动作异常样本10超长文本、含辱骂词、无有效信息、文本乱码边界样本是最有价值的比如“你们到底什么时候发货再不发货我就投诉了”——它表面是问句实际是投诉。你只有把这些样本固化到评测集里才能防止模型“这次对了下次又错”。不需要追求几千条样本。我个人的经验是Golden Set 50到100条足够覆盖绝大多数业务场景的意图定义回归。样本不在多在于是否覆盖了你定义的成功标准和边界条件。4.3 评分卡怎么设计评测集有了还得有统一的打分方式。我的评分体系分三层第一层硬字段校验。JSON格式是否正确、枚举值是否合法、必填字段是否缺失这些用脚本自动判。任何一条不满足该样本直接不得分。第二层语义质量评估。人工或借助辅助模型判断摘要是否完整、判断理由是否到位。我给每类业务都定义了2到3个关键质量点比如“投诉类别判定是否引用了带有情绪的原句”命中一个质量点计1分未命中不得分。第三层加权总分。不同字段权重不同分类正确是大头evidence质量权重低一些。总分出来后每次prompt变更对比的就是这个总分。单项指标再好加权总分低于上一版基线就要警惕是不是牺牲了其他质量换来的。4.4 基线锁定与回归流程我现在每个AI模块都维护一个基线版本记录内容包括意图定义文件版本号、Golden Set版本号、评分卡得分、已知失败样本清单。每次改动遵循这个流程改之前先把当前版本的Golden Set跑一遍记录基线得分修改意图定义形成新版本文件用同一份Golden Set跑新版本记录得分对比得分。若新版本得分低于基线必须回滚或继续修改不允许带着下降上线将新增的失败样本补充进Golden Set防止同类问题漏掉。这套流程看着繁琐但能节省大量“线上突然崩了”的救火时间。模型不会因为你说“这次改得更好”就真的更好一切都要靠评测集说话。5. 高频翻车点清单与排查链路偏差出现后先查哪里5.1 五个高频坑位真实踩过的坑位一术语歧义。AI按通用含义理解你的业务词汇。比如“投诉”在业务上定义为“用户表达不满”但模型把它理解成“用户使用投诉关键字”。修正方式是给术语一个业务化定义最好配上反例。坑位二把希望当成约束。“要专业”“要简洁”“要友好”都不是可执行约束而是悬在模型头上的期望。后面必须跟一句具体的衡量方式“专业”使用行业标准术语每条回复不超过30字。坑位三示例数量太少。给两个正例模型可能提取出完全错误的规律。比如你举的投诉例子恰好都提到了“退款”模型就以为投诉必须和退款有关。至少要给三个正例、两个反例而且反例要故意打破表面规律。坑位四输出没有结构。自由文本输出意味着无法自动校验任何微小变化都会积累成下游解析的大问题。字段级输出契约是底线。坑位五没有定义“什么算错到需要拒绝”。模型面对无法处理的情况宁可编一个答案也不愿意说“我不知道”。严格定义拒绝条件和降级路径是防止编造最有效的手段。5.2 偏差出现后的四步排查链路步骤一收集失败样本。不要只看一两条至少要收集3到5条同类型样本确认是系统性问题还是偶发噪声。步骤二对比失败样本与意图定义。把每条失败样本拿到手里问自己定义里有没有哪句话能阻止这个错误如果找不到那缺口就在定义里。步骤三最小化修改。一次只改一个点。避免“顺手把输出格式也改了把示例也换了温度也调了”改得越多越无法定位是哪个变量导致的变化。步骤四回归验证。修改完成后必须跑一遍Golden Set。确认修复了原有问题的同时没有引入新的偏差。这个链路看上去平淡无奇但我见过太多人跳过第二步直接进入第三步——先怀疑模型能力换个更贵的模型或者加一堆随机采样参数结果问题还留在原地。5.3 一次真实的排查过程AI漏掉了“待办事项”举一个具体的例子。项目是会议纪要助手要求AI输出会议摘要。用户反馈很统一“AI总结得还行但会议里提到的待办事项经常丢。”最初意图只写了“对会议记录进行摘要包含重要内容。”我按上面的排查链路走了一遍。收集了5条失败样本后发现待办事项分布在记录的末尾部分且多以“王工说周五前给方案”这种口语形式出现。模型在摘要时按“开头重点”的默认习惯把结尾的待办压缩掉了。缺口定位输出契约里没有单独定义“todo_list”字段模型没有接收到“待办事项必须单列、不可省略”的指令。修正方案很简单在意图里增加一条输出规则要求输出两个字段——“summary”和“todo_list”并注明todo_list必须逐条列出责任人、事项、截止时间从原文中抽取不确定的词保持原样。回归结果待办事项检出率从68%提升到96%摘要长度反而因为结构拆分变得更受控。最后想说的话做AI测试和做传统测试最大的心法差异就是少在结果上抠字眼多到意图里找漏洞。这段“测试意图精准定义”的方法我已经在三个项目里落地效果都立竿见影。它本质上是一条注意力管理线把团队里每个人对AI输出的模糊预期收敛成一份机器可读、人可评审、回归可度量的规格文档。个人建议哪怕项目很赶也至少要花半天时间把意图五件套写出来。写完后你会发现后续的评测集设计、边界case定义、评分卡搭建都会顺很多。一个额外的收获是当你把意图定义文件放进代码仓库并和prompt一起走评审时你其实是在用一种更体系化的方式管理AI行为——而不是靠某位同事脑内的那个模糊版本。这套做法能帮你省掉很多深夜排查“为什么又漏了”的时间至少我是这么被挽救的。