AI服务的SLO与影子流量-在上线前证明它没变笨

摘要传统服务的 SLO 通常围绕可用性与延迟用在 AI 服务上会漏掉最重要的一环质量。一个响应快、从不报错但答案越来越差的系统在传统监控下表现完美。本文拆解 AI 服务应当定义的四类 SLO、为什么尾延迟比平均延迟更重要、影子流量如何用最低成本验证变更以及灰度扩量的通过标准。2026 奇点智能技术大会11 月 20-21 日 · 北京万达文华酒店将讨论 AI 工程实践与可靠性。一、传统 SLO 缺了什么一个典型的传统 SLO 是可用性 99.9%、P99 延迟 500ms。套在 AI 服务上会出现三种漏检漏检一质量下降。提示词改错一个词系统照常返回 200延迟正常但答案质量明显下降。传统指标完全看不到这件事。漏检二静默降级。模型不可用导致自动降级到小模型系统仍返回 200。从可用性看没问题从质量看是事故。漏检三内容异常。输出格式漂移、重复生成、长度异常——这些都不会触发传统告警却会让下游解析失败。传统 SLO能不能用可用性、延迟 AI 需要补用得好不好质量、格式、内容异常二、四类 SLO建议为 AI 服务定义四类指标每类给出具体目标。类别指标示例为什么需要数据难度可用性成功响应比例基础低延迟P50/P95/P99 首字与总耗时体验低质量抽检通过率、任务完成率核心价值中到高成本单位请求成本、缓存命中率可持续中第三类是最难也最重要的。常见的替代做法有用下游行为反推用户是否重试、是否修改、是否放弃用小模型或规则做自动打分人工定期校准固定评测集跑分离线 线上抽检在线三种可以组合但必须至少有一种——完全没有质量指标的系统等于在盲飞。三、为什么尾延迟更重要平均延迟具有欺骗性。三个理由其一长尾请求往往是复杂请求。它们处理时间长是正常的但正是这些请求的用户体验最差也最可能流失。其二平均值会被大量简单请求拉低。一个 200ms 的简单请求可以掩盖十个 3 秒的复杂请求。其三尾延迟决定容量规划。为了压住 P99往往需要预留额外容量这部分成本是真实的。建议同时监控 · 首字延迟TTFT影响是否卡住的感知 · 总耗时影响整体体验 · 分位数P50 / P95 / P99 三档 · 按请求类型分桶后的分位数最后一项最关键也最常被省略长短请求混在一起算分位数结论基本不可用。四、影子流量最低成本的验证方式模型或提示词变更前先让新版本接收真实流量但不返回结果只用于对比。这就是影子流量。它解决什么问题离线评测集与真实分布总有差异而直接灰度有风险。影子流量提供了介于两者之间的选项真实流量、零用户影响。需要注意四点成本翻倍影子请求同样消耗算力需要评估预算不要影响生产影子链路的失败与延迟不能影响主链路对比要按请求配对同一请求的新旧输出对比才有意义要有明确的对比指标相似度、格式合法性、关键字段命中率defshadow_compare(request,prod_model,shadow_model):影子对比示意生产结果照常返回影子结果只记录差异。outprod_model(request)# 主链路正常返回try:altshadow_model(request)# 影子链路异常不影响主链路record(diff_metrics(out,alt),request.meta)exceptExceptionase:record_error(e)returnout注意try/except的位置影子链路的任何异常都不能传导到主链路。这是影子流量最重要的实现约束。五、灰度扩量的通过标准从 1% 到 100% 的每一步都应有明确的通过/回滚标准。建议1% 阶段观察错误率与质量信号运行至少一天10% 阶段对比分位数延迟与成本确认无显著劣化50% 阶段观察长尾与高峰时段表现100%保留快速回滚能力至少一个发布周期每个阶段的通过标准应当预先写下来包括什么数字算异常。临时判断容易被乐观情绪影响事前约定则不会被绕过。六、告警该看什么三类告警最有价值其一质量信号突变。抽检通过率、用户重试率、负面反馈率的突然变化。这是最能反映真实问题的信号。其二输出特征漂移。平均输出长度、格式失败率、拒答率的显著变化。这些指标成本低且敏感。其三成本异常。单位请求成本突然上升通常是提示词变长、缓存失效或重试增多。告警优先级建议 质量突变 输出特征漂移 延迟 成本 可用性 ↑ 可用性问题最容易发现也最晚才影响用户信任七、质量类 SLO 的落地方法质量指标最难但也最值得投入。三种落地方式由易到难。方式一代理指标。用可自动计算的信号近似质量例如格式合法率、拒答率、输出长度分布、用户是否重试。优点是可全量计算缺点是只是近似。方式二抽样人工评估。每天抽取固定数量的真实请求人工判定是否可接受。优点是真实缺点是滞后且成本高。方式三模型辅助评分 人工校准。用评分模型对全量请求打分定期用人工评估结果校准评分模型。这是目前性价比最高的折中方案。组合建议代理指标做实时监控 抽样人工做周度校准 ↑ 两者缺一质量监控都会失真需要注意的关键点是代理指标必须与人工评估做过相关性验证。一个与用户感受无关的代理指标只会带来虚假的安全感。八、读者问答问SLO 定多少合适先测量现状再定一个略高于现状的目标。凭空设定 99.9% 之类的数字没有意义也无法指导改进。问影子流量要跑多久至少覆盖一个完整业务周期通常一周并且包含一次高峰时段。只跑两天的影子流量会漏掉周期性模式。问灰度期间出问题算事故吗应该按小范围事故对待并复盘。灰度本来就是用来发现问题的发现问题正是它起作用的证据。问SLO 达不到怎么办先判断是目标过高还是系统有问题。如果是后者需要明确改进项与期限如果是前者调整目标并说明依据。不要为了让数字好看而修改定义。九、SLO 与成本的取舍SLO 定得越高成本越高。这个取舍必须显式做出而不是默认越高越好。延迟与成本的关系最典型为了压住 P99需要预留更多容量或降低批处理大小两者都推高单位成本。质量与成本的关系同样存在用更强的模型、更多的检索候选、更多的自我校验轮次质量提升但成本上升。合理的做法是按业务分级业务类型延迟目标质量目标成本容忍实时对话严格中中离线批处理宽松高低高风险决策中严格高内部工具中中低关键是把这张表写下来并让各方认可。没有共识时工程团队会在为什么这么慢和为什么这么贵之间来回受挤压。十、读者问答问影子流量的结果如何判断看三类差异输出相似度、格式合法性、以及关键指标如是否正确引用。相似度高不代表没问题格式与关键指标同样重要。问影子流量会不会影响生产数据设计得当不会。影子链路只读取请求副本不写入任何生产状态。这是影子流量的底线约束。问SLO 需要对外承诺吗视商业模式而定。对外承诺的 SLO 需要更严格的容量规划与更保守的变更节奏。内部目标与对外承诺应当区分管理。问如何避免 SLO 流于形式把 SLO 与变更决策绑定违反 SLO 时暂停功能发布优先修复。不与决策绑定的指标最终都会变成装饰。十一、最后几个问题问影子流量与 A/B 测试的区别影子流量不影响用户只做对比A/B 测试会真实分流并影响部分用户。前者用于验证后者用于决策。问AI 服务需要容量演练吗需要。模型服务的容量特性与传统服务不同显存、批处理、排队常规压测方法未必适用。问如何设定质量类告警的阈值基于历史波动范围设定而不是按理想值。阈值过敏感会导致告警疲劳最终被忽略。问SLO 应该多久评审一次建议每季度评审一次或在业务形态发生重大变化时追加评审。十二、衔接大会专题问SLO 是否应该包含成本目标建议包含。成本失控是 AI 服务最常见的长期问题把它写进 SLO 能让成本成为一等约束而不是事后被动削减的对象。问影子流量能否用于长期对比可以。长期保持小比例影子流量能持续监控新老版本的相对表现及时发现能力漂移。问质量指标波动大怎么办先确认波动来自真实变化还是采样噪声。样本量不足时指标波动往往只是噪声需要提高样本量或延长观察窗口。问影子流量的成本如何控制按比例采样如 10% 流量进影子既能获得统计意义上的对比结果又能把成本控制在可接受范围。问SLO 与 KPI 的区别SLO 是系统对外承诺的可度量目标KPI 是团队内部的考核指标。把两者混用会导致指标被人为调整。11 月 20-21 日北京万达文华酒店2026 奇点智能技术大会将讨论 AI 工程实践、可靠性与成本治理C 及系统软件技术大会则从监控、剖析与并发控制角度给出方法论。带着我的 AI 服务有没有一个质量类 SLO这个问题的答案去参会会立刻知道自己处在什么阶段。大会信息2026 奇点智能技术大会 C 及系统软件技术大会时间2026 年 11 月 20-21 日地点中国·北京万达文华酒店大会报名点击报名领取大会PPT资料立即报名锁定 Lukasz Kaiser Keynote 与 70 场演讲完整资料