Java转AI Agent教程（第七周）路由与兜底-云帆数科

W7 · Routing混淆矩阵与兜底本周交付Intent6 类drill w730 条标注样本混淆矩阵阈值扫描预计耗时主块 4h设计意图体系 0.5h / 标注样本 1.5h / 写演练 1h / 分析 1h前置W6 通过bash run.sh drill w6绿1. 一句话给分类器一个我可以说不知道的出口然后用混淆矩阵和阈值曲线把错在哪一边摊开给业务方看。2. 为什么必须有 UNKNOWN没有兜底类别的分类器一定会自信地分错。你给 5 类用户问你们公司还招人吗模型不会说我不知道它会挑最接近的那一类——大概是商品咨询。然后这条不该被处理的请求就进入了商品咨询的处理路径走完全程给出一个煞有介事的回答。UNKNOWN 的作用就是给模型一个合法的出口。但这个出口有两个硬要求必须存在枚举里有它必须能被真实触发W7 验收触发 ≥ 3 次第二条容易被忽略。如果你的样本里全都是典型售后问题UNKNOWN 永远不触发这条分支等于没测过——上线后第一次遇到闲聊就直接裸奔。3. 为什么是 6 类分类粒度的上限由下游动作决定。每一类必须对应一个明确不同的处理路径如果两类走的是同一套动作那它们就该是一类。意图下游动作特殊规则REFUND 退款查订单 → 查政策 → 生成涉及钱W10 必须过护栏RETURN 退货查订单 → 查政策 → 生成涉及货流程不同LOGISTICS 物流异常查订单 →查轨迹→ 生成数据源不同PRODUCT 商品咨询查政策 → 生成不需要订单号COMPLAINT 投诉直接转人工自动回复激化矛盾成本远高于人工接一次UNKNOWN 无法归类直接转人工兜底单独说 COMPLAINThumanOnly()写死在枚举上不交给 prompt 判断。这类无论模型多准都不该自动处理的路径必须在代码里硬编码。4. 指标怎么定义这段要写进 README大多数人只报一个准确率。这个数字在这里没用因为它把三种完全不同的结果混成一种结果定义业务含义正确预测标注正常处理错分预测成了某个具体意图但和标注不一致走了错的流程可能造成损失弃权预测为 UNKNOWN转人工没自动处理但也没出错对应的两个指标弃权率弃权 / 总数 → 自动化的覆盖率体验错分率错分 / (总数 − 弃权) →在它敢答的问题里错多少风险分母扣掉弃权才是诚实的准确率。把弃权算进分母算出来的 90%可能真实是70% 转人工 20% 全对。5. 验收cd教程/W1-W4/ecom-agent-labbashrun.sh drill w7实际输出脚本模型30 条样本混淆矩阵行标注列预测 REFUND RETURN LOGISTICS PRODUCT COMPLAINT UNKNOWN REFUND 4 . . . . 2 RETURN . 4 . . . 1 LOGISTICS . . 4 . . 1 PRODUCT . . . 4 . 1 COMPLAINT . . 1 . 3 1 UNKNOWN . . . . . 4 阈值 0.60正确 23 · 错分 1 · 弃权 6 错分率 4%错分/敢答的题· 弃权率 20% --- 阈值扫描 --- 阈值弃权率错分率自动作答量 0.30 10% 7% 27/30 0.55 10% 7% 27/30 0.60 20% 4% 24/30 0.90 20% 4% 24/30 0.95 87% 0% 4/30 错分明细你们发货太慢了标注 COMPLAINT → 预测 LOGISTICS 弃权明细退款到哪了标注 REFUND → 转人工物流太差了下次不买了标注 COMPLAINT → 转人工能不能便宜点标注 PRODUCT → 转人工 ... W7 路由通过 4 / 失败 0判定标准错分率 20%当前 4%「无法归类」被真实触发 ≥ 3 次当前弃权 6 次混淆矩阵行和样本数30至少 3 类意图被正确识别4.1 矩阵里的那一格说明了什么COMPLAINT → LOGISTICS那一格就是你们发货太慢了被判成物流问题。这句话里确实有发货两个字关键词规则把它吃走了。这就是矩阵的价值如果你只看错分率 4%你会觉得没问题看到这一格你会知道情绪表达业务词是这类句子的固定模式应该在 prompt 里加一条 few-shot。4.2 阈值扫描这不是调参是业务决策阈值从 0.60 提到 0.95弃权率从 20% 涨到 87%错分率只从 4% 降到 0。高阈值买到的是安心不是准确它把大量本来答对的题也转给了人工。转人工有成本人力错答也有成本赔偿、投诉两条线的交点在哪只有业务方知道。你的职责不是替他选而是把两条线的代价算清楚端上去。6. 本周踩的坑坑 1第一版混淆矩阵是一条完美对角线。25 条样本全对、错分 0、弃权 2。看起来很棒实际是自己考自己——我的关键词规则和标注是我一个人写的规则怎么划标注就怎么标。修法是加 5 条难样本专门挑关键词规则会栽的句子物流太差了下次不买了标注 COMPLAINT规则判成 LOGISTICS 你们发货太慢了标注 COMPLAINT规则判成 LOGISTICS 能不能便宜点标注 PRODUCT规则判成 UNKNOWN 客服说三天到现在还没到标注 LOGISTICS规则判成 UNKNOWN 东西质量不行我要退标注 RETURN规则判成 UNKNOWN加上之后矩阵才有非对角线的格子才说明这套评测能发现问题。这一条比代码重要对角线矩阵不是好消息是评测集太简单。坑 2歧义样本不能藏。退款到哪了同时命中 REFUND 和 LOGISTICS。我一开始想把它删掉“太吵了”后来留下了标注 REFUND接受它被弃权。真实语料里这类占比很高藏起来只会让你的线上表现比评测差。坑 3以为 UNKNOWN 触发靠模型说不知道。实际上是三条路径都可能落 UNKNOWN无关键词0.30、多意图竞争0.55 被阈值拦、模型明确返回 UNKNOWN。三条都要有样本覆盖。7. 自检清单能画出自己的 6×6 混淆矩阵并指出最大的非对角线格子能解释错分率和弃权率的分母为什么不同能说出为什么 COMPLAINT 要写死在代码里而不是交给 prompt阈值扫描能跑出至少 3 行并能对着数字讲清取舍drill w7全绿w7-routing.csv已经生成用 Excel 打开看过8. 下一步到这里链路能跑、路由能分、错误能定位。但有一个问题一直没解决如果模型不收敛怎么办死循环是 Agent 系统里最经典的事故一轮 3 秒用户等 30 秒看到超时而你的日志里每一条都正常。W8 用四道刹车解决它。

企业数字化 ERP 产品动态

相关推荐

智能变化检测与样本标注平台：让遥感样本生产更智能、更高效、更可靠

智能识别、人工复核、质量核验，打通遥感变化检测样本生产全流程。高质量样本是遥感智能解译模型训练与应用的重要基础。然而，在遥感变化检测样本生产过程中，变化区域查找耗时、图斑边界反复修正、前后期影像核对繁琐、成果质量检查工作量大等… · 2026/11/4 12:13:04

【硬件方案选型调研】全链路AI语音硬件、芯片嵌入式方案

导随着端侧AI、语音交互在消费AIoT设备快速落地，不少硬件开发者在项目中会遇到音频算法调试、蓝牙固件开发、大模型接入、私有化设备对接、量产稳定性等一系列难题。市面上很多方案只能单独提供芯片或者上层SDK，缺少从底层驱动到整机落地的连贯交付能力。… · 2026/11/4 12:13:04

有什么智能体能用的企业数据接口

智能体办公普及下，专业场景的数据能力短板近几年，大模型应用从通用对话快速向企业级场景渗透，智能体（Agent）、AI 办公助手逐渐成为采购、风控、法务、内审等岗位的常用效率工具。从腾讯云 WorkBuddy 发布十大 “王炸组… · 2026/11/4 12:12:02

SQL日期函数详解：从基础到高级应用

1. 日期函数在SQL查询中的核心价值日期处理是数据库操作中最常见也最容易出错的环节之一。记得刚入行时，我曾在月度报表统计中因为时区转换问题导致数据偏差30%，差点引发连锁反应。正是这类教训让我意识到，熟练掌握SQL日期函数不是可选项&am… · 2026/11/4 12:59:41

具身智能与代数信息系统的融合设计与实现

1. 项目背景与核心概念解析 "云藏山鹰代数信息系统"这个命名本身就蕴含着丰富的技术哲学思考。从字面拆解来看，"云藏"暗示着云计算与数据存储能力，"山鹰"象征着系统的敏锐与高效，"代数信息系统"则明… · 2026/11/4 12:59:41

深入解析Spark Job调度机制与性能优化

1. Spark Job 调度机制全景透视当你在Spark Shell里敲下那个.count()的瞬间，集群究竟发生了什么？这个看似简单的操作背后，隐藏着一套精密的分布式调度系统。作为Spark核心引擎的"中枢神经"，调度机制直接决定了作业执行… · 2026/11/4 12:59:41

Word简历模板怎么选怎么改：从样式排版到投递解析的稳定版式指南

1. 免费模板满地都是，卡住你的从来不是“没有模板” 这几年帮人看简历，我被问得最多的一句话不是“我这段经历该怎么写”，而是“你那儿有没有好看的简历模板 ， Word格式的那种，最好免费的”。问的人多了&#xf… · 2026/11/4 12:59:41

JVM垃圾回收机制与内存管理详解

1. JVM垃圾回收基础概念解析1.1 什么是JVM中的垃圾在Java虚拟机中，垃圾（Garbage）的准确定义是：堆内存和方法区中那些已经没有任何引用指向、程序在后续执行过程中永远无法再访问到的对象或数据所占用的内存空间。简单来说&#xf… · 2026/11/4 12:59:41

深度学习生成模型：RBM原理与PyTorch实现详解

1. 项目概述：深度学习经典教材精读系列这个编号为"deeplearningbook_027-2"的项目，是我在系统研读《Deep Learning》教材过程中整理的系列笔记之一。作为AI领域的经典著作，该书由Ian Goodfellow等权威学者撰写，全面覆盖… · 2026/11/4 12:58:40

双极步进电机控制实战：DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 3:16:49