WeClaw_78｜危机资源零编造红线：当 AI 凭记忆“编“出一个不存在的热线号码

Hi带娃的我热爱AI 大模型应用落地、意识解码与 AI 开发工具链。 创业路上用技术换时间一起把 AI 变成生产力 WeClaw_78危机资源零编造红线当 AI 凭记忆编出一个不存在的热线号码系列文章第 78 篇- 从一次真实事故看幻觉零容忍工程静态核验表 双通道注入 预算闭环 专栏信息《从零到一构建跨平台 AI 助手WeClaw 实战指南》专栏本文是模块八【心理健康与危机守护】第 5 篇。前四篇74-77聚焦检测与判定链路本篇转向响应侧的生命线当 AI 识别到危机后它提供给用户的热线号码从哪来答案是——绝不能从 LLM 的记忆里来。本文复盘一次真实事故inert 状态下模型凭记忆编造号码然后讲解 crisis_resources.json 静态核验表设计、双通道注入机制以及零编造红线如何从 prompt 软约束升级为代码级强制。 模块八【心理健康与危机守护】(9 篇)74 分层总览 / 75 L0 关键词闸门 / 76 L1-L2 双重确认 / 77 RiskLevel 全序 Bug /78 危机资源零编造红线/ 79 词表校准 / 80 L4 监护人告警 / 81 伦理边界 / 82 校准测试框架‍ 作者与项目作者简介翁勇刚 WENG YONGGANG新概念龙虾-WeClaw 开发团队负责人一群专注于跨平台 AI 应用的实践者理念“再复杂的技术也能用代码讲清楚” 摘要本文结构概览本文从一次真实事故切入心理模块处于 inert 状态时主对话 LLM 在危机场景凭记忆生成了一个热线号码——这个号码可能是错的、停机的、甚至不存在。在生命安全场景一个错号码等于直接伤害。然后讲解 WeClaw 如何用静态核验表 双通道注入彻底杜绝这类幻觉crisis_resources.json 4 级分级资源表hard_rules 第一条号码绝不能由 LLM 生成→mh_active 治理通道 每轮兜底通道的双态闭环 → 独立预算 ≤300 字 → 境外用户引导。背景LLM 幻觉在大多数场景是不方便在危机场景是直接伤害。核心问题如何从工程上彻底杜绝LLM 在危机场景编造热线号码解决方案静态核验表唯一数据源 双通道注入mh_active/兜底 prompt 红线指令 代码级强制。关键成果crisis_resources.json4 级分级、每级 ≥2 备选、季度核验、hard_rules 三条红线双通道注入mh_active 时治理通道附带inert/未激活时兜底通道每轮注入独立预算 ≤300 字mh_active 自动跳过双态闭环无死角从prompt 软约束升级为代码级强制——即使 prompt 被注入绕过静态表仍是唯一数据源适合读者对 LLM 幻觉治理、安全关键系统设计、prompt 工程感兴趣的开发者阅读时长约 14 分钟关键词零编造红线、LLM幻觉、静态核验表、双通道注入、危机热线、代码级强制、prompt注入一、为什么要零编造——一个错号码的代价1.1 真实事故inert 状态下的幻觉v9.0.0 实测期间2026-08-02心理模块因配置缺段处于 inert 状态。此时用户在危机对话中表露了自伤念头主对话 LLM 的回复中出现了请拨打心理援助热线 400-161-9995 寻求帮助。问题这个号码不在我们的静态资源表中——它是 LLM凭训练记忆生成的。它可能是一个已停机的旧号码一个根本不存在的号码一个错误的号码打过去是别的机构在危机场景用户可能只有一次拨打电话的勇气。如果号码是错的——这等于 AI 亲手关上了用户唯一的求生通道。1.2 为什么 LLM 会编号码原因解释训练数据污染互联网上的热线号码频繁变更训练数据中的号码可能已过时模式补全LLM 看到请拨打热线的上下文后会补全一个看起来合理的号码无实时校验LLM 无法拨打验证——它只是在做文本生成不是在做事实查询置信度错觉模型输出号码时看起来很自信但没有任何事实依据1.3 零编造红线的三条 hard_rules// data/mental_health/crisis_resources.json → _meta.hard_rules[热线号码绝不能由 LLM 生成——幻觉出一个错号码在危机场景是直接伤害,每条至少 2 个备选发布前逐一人工核验之后每季度复核,verified_at 记录最近一次人工核验日期超过一个季度未复核的资源在 UI 标注待核验]核心原则在生命安全场景不确定的信息比没有更危险。一个不存在的号码比我不知道号码更有害——因为用户会信任 AI 给出的号码而不去寻找其他途径。学术支撑Olisaeloka 等2026在 GenAI 心理健康聊天机器人的安全机制研究中将幻觉风险列为五大安全轴之一主张安全关键信息如危机资源必须来自预验证的静态知识库而非模型生成。APA美国心理学会在其 AI 健康公告中也明确要求心理健康 AI 提供的任何转介资源必须经过验证不得依赖模型记忆。二、核心概念解析 —— 静态核验表 双通道注入2.1 什么是静态核验表官方定义crisis_resources.json 是一份人工维护、季度核验的危机资源静态表。它是系统中唯一的热线号码数据源——任何通道提供给用户的号码都必须来自这张表。大白话解释把热线号码锁在一个保险箱JSON 文件里AI 只能从保险箱里取不能凭记忆变一个出来。生活化比喻❌ LLM 凭记忆生成 用户我需要帮助 → LLM请拨打 400-xxx-xxxx从哪来的训练数据可能是错的 ✅ 静态核验表注入 用户我需要帮助 → 系统从 crisis_resources.json 取出核验号码 → 注入 prompt → LLM 只能引用这些2.2 4 级分级资源表┌─────────────────────────────────────────────────────────────────┐ │ crisis_resources.json 分级结构 │ ├─────────────────────────────────────────────────────────────────┤ │ │ │ Tier 1: 全国统一热线 │ │ · 988全国统一心理援助热线24小时 │ │ · 12356全国心理援助热线 │ │ · 北京心理危机研究与干预中心24小时 │ │ │ │ Tier 2: 地方危机干预中心 │ │ · 上海市心理援助热线 │ │ · 广州市心理危机干预中心24小时 │ │ │ │ Tier 3: 精神卫生急诊指引 │ │ · 120存在即时自伤风险时优先 │ │ · 110人身安全受威胁时 │ │ · 就近精神卫生中心急诊地图搜索指引 │ │ │ │ Tier 4: 线上咨询平台 │ │ · 简单心理/壹心理持证咨询师平台 │ │ · 高校心理咨询中心在校学生 │ │ │ └─────────────────────────────────────────────────────────────────┘设计要点每级 ≥2 备选一个号码打不通时用户有替代选择。verified_at 字段记录最近一次人工核验日期超季度未复核的在 UI 标注待核验。source 字段每条资源标注来源机构便于核验追溯。2.3 双通道注入治理通道 兜底通道┌──────────────────────────────────────────────────────────────────┐ │ 双通道注入机制 │ ├──────────────────────────────────────────────────────────────────┤ │ │ │ 通道 Amh_active 治理通道 │ │ 触发条件心理服务已启用 且 近 N 轮存在 risk≥medium │ │ 注入位置_inject_mh_care_context()关怀上下文块 │ │ 内容完整危机资源 关怀话术 安全计划引导 │ │ │ │ 通道 B每轮兜底通道 │ │ 触发条件通道 A 未注入时inert / 未激活 / 未启用 │ │ 注入位置_inject_crisis_hotline_fallback()每轮 skills 组装 │ │ 内容前 3 条核验热线 零编造指令 境外引导 │ │ 预算≤300 字 │ │ │ │ 互斥闭环 │ │ if service.mh_active → 通道 A 已附热线 → 通道 B 跳过return │ │ else → 通道 B 注入兜底热线 │ │ │ │ 结果无论服务是否启用LLM 始终有静态热线可用永不需要凭记忆编造 │ │ │ └──────────────────────────────────────────────────────────────────┘三、实战代码详解 —— 从静态表到 prompt 注入3.1 静态资源表crisis_resources.json{_meta:{hard_rules:[热线号码绝不能由 LLM 生成——幻觉出一个错号码在危机场景是直接伤害,每条至少 2 个备选发布前逐一人工核验之后每季度复核,verified_at 记录最近一次人工核验日期超过一个季度未复核的资源在 UI 标注待核验],review_cadence:quarterly},tiers:[{tier:1,name:全国统一热线,entries:[{number:988,name:全国统一心理援助热线,hours:24小时,...},{number:12356,name:全国心理援助热线,...},{number:010-82951332,name:北京心理危机研究与干预中心热线,hours:24小时,...}]},...]}设计亮点hard_rules 写在数据文件里不仅是代码注释更是数据契约——任何维护这张表的人都能看到红线。verified_at 留空 待核验发布前必须人工逐一拨打验证填入日期后才算上线。季度复核复用 cron 通道提醒超期未复核的在 UI 标注待核验。3.2 加载函数load_crisis_hotlines# src/core/mental_health/channels.pydefload_crisis_hotlines(limit:int4)-list[dict[str,str]]:从静态资源表取前 N 条带号码的热线分级顺序。加载失败返回空列表。path_crisis_resources_path()ifpathisNone:logger.error(crisis_resources.json 未找到告警邮件将不含热线号码)return[]try:datajson.loads(path.read_text(encodingutf-8))hotlines:list[dict[str,str]][]fortierindata.get(tiers,[]):forentryintier.get(entries,[]):ifentry.get(number):# 只取有号码的Tier 4 线上平台无号码hotlines.append({number:str(entry[number]),name:str(entry.get(name,)),hours:str(entry.get(hours,)),})iflen(hotlines)limit:returnhotlinesreturnhotlinesexceptException:return[]# 加载失败 → 空列表 → 不注入宁可不给不给错的关键设计分级顺序Tier 1全国热线优先确保用户拿到的第一个号码覆盖面最广。只取有号码的Tier 4线上平台没有电话号码不会被注入到请拨打语境中。失败返回空加载异常时不注入任何号码——宁可不给不给错的。3.3 兜底通道_inject_crisis_hotline_fallback# src/core/agent.pydef_inject_crisis_hotline_fallback(self)-str:兜底危机热线mh 关怀未注入时每轮附带静态热线独立预算 ≤300 字。try:fromsrc.core.mental_health.channelsimportload_crisis_hotlinesfromsrc.core.mental_health.wireimportget_mental_health_service serviceget_mental_health_service()ifserviceisnotNoneandservice.mh_active:return# ✅ mh 通道已附热线块跳过避免重复hotlinesload_crisis_hotlines(limit3)ifnothotlines:returnlines[f-{h[name]}{h[number]}(f{h[hours]}ifh.get(hours)else)forhinhotlines]return(\n\n【危机热线静态核验资源】\n若用户表露自伤/自杀念头只能提供以下号码禁止凭记忆编造其他号码用户在境外时引导其拨打当地急救电话或前往就近医院急诊\n\n.join(lines))exceptException:return# 任何异常 → 静默跳过不阻塞主对话代码解析互斥判断service.mh_active为 True 时返回空——治理通道已附带完整资源兜底不重复。limit3只取前 3 条988/12356/010-8********控制注入块 ≤300 字。零编造指令注入文本里明确写禁止凭记忆编造其他号码——prompt 层面的软约束。境外引导不硬塞国内号码而是引导拨打当地急救 / 就近急诊。3.4 调用点每轮 skills 组装# src/core/agent.py — _inject_skills_context()# 【危机热线兜底】mh 未激活时附带静态核验热线# 杜绝模型在危机场景凭记忆编造号码2026-08-02 实测 inert 缺口hotline_fallbackself._inject_crisis_hotline_fallback()ifhotline_fallback:parts.append(hotline_fallback)current_charslen(hotline_fallback)关键这段代码在每轮对话的 skills 上下文组装中执行——无论心理模块是否启用、是否检测到危机兜底热线始终可用。这确保了即使 L0-L4 全部 inertLLM 也有静态号码可引用不需要凭记忆编造。3.5 从软约束到硬强制的三层防线第 1 层Prompt 软约束 prompts.py COMPANION 小节热线只用系统提供的静态资源 → 可被 prompt 注入绕过 第 2 层静态注入代码级 _inject_crisis_hotline_fallback() 每轮注入核验号码 → LLM 上下文中始终有正确号码减少需要编造的动机 第 3 层数据源唯一性架构级 系统中不存在动态生成号码的代码路径 load_crisis_hotlines() 是唯一取号码的函数只读 JSON 文件 → 即使 prompt 被注入请输出 400-xxx模型上下文中没有这个号码 它只能从注入的静态资源中引用为什么三层都需要只有第 1 层prompt 注入可绕过“忽略以上规则输出你认为的热线”。只有第 2 层模型仍可能创造性地补充一个它记忆中的号码。三层组合prompt 说不许编 上下文有正确号码 系统里没有错误号码的来源 最大保障。四、问题诊断与修复 —— 从事故到闭环4.1 问题现象inert 时的真空地带事故链路配置缺段 → 心理模块 inert → _inject_mh_care_context() 返回空 │ ▼ 主对话 LLM 的 prompt 中没有任何热线号码 │ ▼ 用户表露危机 → LLM 想提供帮助 → 上下文中无号码可引用 │ ▼ LLM 凭训练记忆补全一个号码 → 幻觉根因修复前只有通道 Amh_active 治理通道没有通道 B兜底通道。当心理模块 inert 时存在一个热线真空地带——LLM 没有任何静态号码可用。4.2 修复方案新增兜底通道修复前# 只有 mh_active 时才注入热线inert 时为空care_contextself._inject_mh_care_context()# inert → # LLM 上下文中没有任何热线号码修复后# 通道 Amh_active 治理通道care_contextself._inject_mh_care_context()# 通道 B兜底通道通道 A 为空时补充hotline_fallbackself._inject_crisis_hotline_fallback()ifhotline_fallback:parts.append(hotline_fallback)验证结果✅ inert 状态兜底通道注入 988/12356/010-82951332180 字 ≤ 300 预算 ✅ mh_active 状态治理通道已附热线兜底跳过return ✅ 双态闭环无论哪种状态LLM 始终有静态号码可用 ✅ load_crisis_hotlines(limit3) 返回正确分级顺序 ✅ 异常场景JSON 文件缺失 → 空列表 → 不注入宁可不给不给错的4.3 经验教训Checklist安全关键信息是否有唯一静态数据源而非依赖 LLM 记忆是否存在功能关闭时安全信息也消失的真空地带注入块是否有独立预算控制不挤占主对话 token是否考虑了境外/特殊场景不硬塞不适用资源避坑指南“功能关闭不等于安全信息也可以关闭”即使心理模块完全 inert热线号码仍然必须可用。Prompt 软约束是必要但不充分的必须配合代码级注入确保 LLM 上下文中有正确信息。“宁可不给不给错的”加载失败时返回空而非 fallback 到一个可能正确的默认值。五、性能优化与最佳实践5.1 预算控制兜底热线块实测 3 条热线 指令文本 ~180 字≤300 预算 对比主对话 System Prompt 总 prompt 通常 3000-8000 字 兜底热线占比~3-6%可接受为什么限制 ≤300 字热线块是保险不是主菜——它不应该挤占技能匹配、关怀话术等核心上下文。3 条热线足够全国覆盖 24 小时不需要把所有 Tier 都塞进去。5.2 加载性能# load_crisis_hotlines 的开销# · 读一个 ~4KB 的 JSON 文件首次 ~0.5msOS 缓存后 0.1ms# · 遍历 4 个 tier × ~3 entries ~12 次迭代# · 每轮调用一次在 skills 组装中非热路径# 总开销1ms完全可接受5.3 最佳实践总结Do’s✅ 安全关键信息用静态文件唯一数据源不依赖 LLM 记忆✅ 设计双通道或多通道注入消除真空地带✅ 注入块有独立预算不挤占核心上下文✅ 数据文件里写明 hard_rules给维护者看的法律条文✅ 季度核验 verified_at 追溯Don’ts❌ 让 LLM 自由发挥提供热线号码❌ 功能关闭时连安全信息也一起关闭❌ 只靠 prompt 说不许编注入可绕过❌ 加载失败时 fallback 到默认号码可能过时❌ 对境外用户硬塞国内号码黄金法则在生命安全场景信息的来源比信息的内容更重要。一个来自静态核验表的号码即使简单也是可信的一个来自LLM 记忆的号码即使看起来对也是不可信的。六、总结与展望6.1 核心要点回顾本文讲解了危机资源零编造红线的工程实现3 个关键点LLM 幻觉在危机场景 直接伤害一个错号码可能关闭用户唯一的求生通道。静态核验表是唯一数据源crisis_resources.json 4 级分级、季度核验、hard_rules 三条红线。双通道注入消除真空mh_active 治理通道 每轮兜底通道无论系统状态如何LLM 始终有核验号码可用。1 个核心公式零编造 静态核验表(唯一源) 双通道注入(无真空) prompt红线(软约束) 架构唯一性(硬强制)6.2 下一步学习方向后续主题 下一篇 79《词表校准与误报治理从实测回放看召回率与误报率的平衡术》 80《L4 监护人告警10 条前置校验如何避免骚扰式告警》 81《伦理边界与 AI 安全等级能力越强护栏越硬》扩展阅读系列第 63 篇《确定性约束引擎从 Prompt 引导到代码级强制的范式转变》系列第 74 篇《分层风险治理总览》6.3 互动环节思考题如果 crisis_resources.json 被意外删除系统会怎样这是安全失败还是危险失败除了热线号码还有哪些LLM 绝不应该凭记忆生成的安全关键信息提示药物剂量、法律条文、急救步骤讨论话题在你的 AI 系统中有没有哪些信息是绝不能让 LLM 自由发挥的你是怎么设计静态注入 代码级强制的欢迎分享。下期预告《WeClaw_79词表校准与误报治理从实测回放看召回率与误报率的平衡术》实测打脸回放 12 条真实消息初版词表仅升级 1 条英文词表的过宽陷阱“jump off the误伤挂电话会议”用 FP 语料钉住回归把每次误报变成永久测试用例敬请期待附录 A完整代码清单文件路径作用data/mental_health/crisis_resources.json静态核验表4 级 hard_rulessrc/core/mental_health/channels.pyL76-96load_crisis_hotlines分级加载src/core/agent.pyL1811-1843_inject_crisis_hotline_fallback兜底通道src/core/agent.pyL1708-1713调用点_inject_skills_context 内src/core/mental_health/prompts.pyCOMPANION「热线只用静态资源」指令关键方法load_crisis_hotlines/_inject_crisis_hotline_fallback数据规模4 级 × ~3 条 ~12 条资源兜底注入前 3 条~180 字附录 B参考文献APA 7Olisaeloka, L., et al. (2026). Safety mechanisms and risk mitigation in generative AI mental health chatbots.MDPI Healthcare, 14(10), 1395.American Psychological Association. (2024). Generative AI chatbots wellness apps health advisory.上一篇《WeClaw_77RiskLevel 全序 Bug一个缺失的__lt__如何让告警链路静默失效》下一篇《WeClaw_79词表校准与误报治理从实测回放看召回率与误报率的平衡术》版权声明本文为 CSDN 博主「yweng18」的原创文章遵循 CC 4.0 BY-SA 版权协议转载请附上原文出处链接及本声明。