文生图内容安全四层防线：从输入过滤到行为风控

1. 从几句话出一张图说起能力下沉带来的真问题最近圈子里聊得最多的一件事是两名在校学生用 AI 生成不当图像、再想办法变现。很多人第一反应是猎奇是可真刑三个字的调侃。但我作为常年做生成式 AI 产品和内容安全的从业者看到这条消息时脑子里蹦出来的不是八卦而是一个技术现实图像生成的门槛已经低到不需要任何美术基础、不需要任何图像处理软件、甚至不需要理解什么是模型的程度了。这件事的核心不是两个学生胆子大而是能力下沉的速度远远快于配套的规则、工具和认知建设。先把这篇东西的定位说清楚。这不是一篇追热点的评论也不是道德说教。我想做的是把自己的专业视角摊开一条文生图链路到底由哪几段组成、风险会卡在哪几个环节、做产品的人该在哪些位置埋防线、家里有孩子的该怎么理解这件事、以及我在实际做内容审核时踩过的那些坑。适合谁看三类人正在或准备做 AI 应用的开发者、负责平台内容和风控的运营同学、以及想搞清楚孩子到底在玩什么的家长和教育工作者。技术细节我会讲透但不会给任何可被滥用的操作路径——这是底线也是从业者的基本职业素养。我想强调一个容易被忽略的判断这类事件里技术从来不是最难的部分难的是能力开放和风险兜底之间的节奏匹配。一个模型开放出去几百万用户同时用你不可能靠人工一张张看。防线必须是系统性的、自动化的、多层级的。而现实是大量中小团队在做 AI 应用时第一版压根没考虑过输出侧审核等出事了才回头补成本翻好几倍。1.1 门槛到底降到了什么程度我用一个生活化的类比来解释这个变化。早期做图像创作门槛像自己盖房子得懂构图、懂光影、会软件操作光是学会某个专业绘图工具就得几个月。后来是请装修队你描述需求外包来做但要沟通、要付费、要等。现在是点外卖说一句话几十秒出结果不满意再说一句。从技能门槛降到表达门槛这是质变不是量变。一个初中生能清楚描述自己想要什么画面就已经具备了调用这条链路的能力。这个变化本身是中性的甚至是好事——它把创作能力还给了没有专业技能的人。问题在于当表达门槛低到一定程度作恶的心理门槛也会一起降低。很多人不是蓄意要做坏事而是先看到好像能生成再生出试试看的念头最后发现居然还能卖掉换钱。这是一个渐进的过程而不是一次性的道德崩坏。理解了这个机制你就明白为什么单纯强调不许做是无效的——你需要在每一个渐进环节上都设置摩擦。1.2 变现链条为什么总盯着图像类内容做技术的朋友可以想一个问题为什么不是文本、不是音频偏偏是图像我总结了三个原因。第一是交付形态简单一张图片就是最终产物不需要二次加工不依赖运行环境任何渠道都能传。第二是感知冲击直接图像的信息密度远高于文字同样的违规程度图片的吸引力和传播力是文字的好几倍。第三是审核成本不对称生成一张图几秒钟机器审核一张图要跑模型、要推理、要判级成本比生成高出一截这个不对称就是漏洞窗口。变现的方式通常也不复杂打包成资源包、做成会员订阅、走私下转账、或者用第三方渠道做跳转。我见过一些案例里整个链条就是生成—打包—发帖—收款四步工具全是现成的。这就意味着监管和风控的抓手不在于工具而在于渠道和账号行为。这是我后面讲防线设计时的一个核心思路与其死磕每一张图不如盯住异常的行为模式。1.3 三个角色三种责任别互相甩锅这类事情一出来舆论场经常变成三方互撕怪技术公司开放能力、怪学校家庭教育缺位、怪平台审核不严。我的看法是这三方责任确实都存在但责任的性质完全不同混在一起谈就永远谈不出结果。技术方负责的是能力边界——哪些能力不该无条件开放哪些输出必须被拦住学校家庭负责的是认知边界——让孩子理解这件事的性质和后果平台负责的是传播边界——不让已经产生的东西扩散出去。三者是串联关系任何一环断了整条链就漏。从从业者角度说我最不希望看到的一种结果是出事之后产品团队一刀切地把功能全关了。这是最省事也最偷懒的做法既没有解决问题也把正常用户一起惩罚了。正确的做法是把防线做细而不是把门关死。接下来的章节我会把这条链路拆开讲清楚每一段该埋什么。2. 拆开一条文生图链路风险到底卡在哪在讲防护之前必须先看清结构。很多人对 AI 生图的理解停留在输入一句话输出一张图实际上中间至少有五到六个可插手的环节每个环节的风险特征都不一样。你不把链路拆开就没法定位问题定位不了问题所有的加强审核都是一句空话。我在带团队做这类系统时有个习惯先画一张链路图口头讲也行不用画得多漂亮把每个环节的输入、输出、可干预点标注出来再决定在哪几个点布防。2.1 一条完整链路的五个节点我把它拆成提示词输入 → 输入侧解析与过滤 → 模型推理生成 → 输出侧检测与判级 → 分发与留痕。这五段里任何一段都可以设卡但成本和效果差别很大。输入侧过滤最便宜一次文本分类的成本可以忽略不计但它只能拦明确表达拦不住隐晦表述。模型侧对齐效果最好但需要训练资源而且一旦模型对外开源这层防线就脱离你的控制了。输出侧检测最可靠因为它看的是结果而不是意图但成本最高、延迟最大。分发侧风控性价比最高因为它看的是行为模式而不是单次内容。我把这个对比做成表格方便你判断自己该在哪一层投入环节拦截方式单次成本拦截效果适用场景提示词输入关键词 语义分类极低中怕变体所有产品必做输入侧解析意图识别 多轮拒答低中高有对话交互的产品模型推理安全微调 负向引导中一次性高自建模型必做输出侧检测多模态分类模型高最高有公开分发必做分发与留痕行为风控 水印低高治本有变现/传播链路必做这张表我建议做产品的同学直接抄走。绝大多数中小团队的错误是只做了第一行然后以为自己做完了。关键词过滤在面对稍微有点表达能力的用户时穿透率高得吓人——不是技术不行是自然语言的变体空间太大穷举思路从数学上就不可能赢。2.2 为什么输出侧是不可省略的一环有人会问我在输入侧和模型侧都做了还需要输出侧吗我的答案是只要你的产品会把图给到用户输出侧就不能省。原因很直接——输入侧拦的是意图而意图的表达方式无穷无尽模型侧拦的是倾向而模型的倾向是概率性的不是确定性的。也就是说前面两层是降低概率只有输出侧才是确定性拦截。我做过一个粗略统计在只做关键词过滤的配置下稍微绕一点的表述穿透率能到两三成加上语义分类能压到一个较低水平但如果最终没有输出侧复核仍然会有漏网的。安全系统的基本设计原则是纵深防御每一层都不指望做到 100%但叠起来之后总漏检率会降到可接受区间。这也是为什么我在后面会给一套四层方案而不是推荐某一个万能方案。2.3 留痕最被低估的一环我想单独讲留痕因为这一环在小团队里几乎 100% 被忽略。所谓留痕就是每一次生成都记录谁、什么时候、用什么提示词、生成了什么、有没有被拦、后续有没有被分发。听起来很重实际实现起来成本很低一个结构化日志表就够了。但它的价值是决定性的出问题时你能定位、能复盘、能证明自己做了该做的。更重要的是留痕本身就是一种威慑。当用户知道每次生成都有记录、账号和内容绑定很多试试看的念头会自然消退。这比任何弹窗提示都有效。我在设计这类系统时会把生成记录保留周期和账号等级绑定新账号记录保留更久、生成配额更低行为正常后逐步放宽。这套机制看起来和内容安全无关实际上是整个体系里性价比最高的部分。3. 内容安全防线的四层设计可以直接抄的落地方案这一节是全文的技术核心我会把四层防线拆开讲每一层给思路、给参数、给注意点。需要提前说明的是具体的阈值和模型选型必须结合你的业务场景调整我给的数字是经验起点不是标准答案。另外我不会给出任何规避审核的方法只讲怎么防——这个界限守住了内容才有价值。3.1 第一层输入侧的语义过滤别再用纯关键词了关键词表是必需品但绝不能是唯一的。我的做法是三件套并行正则/关键词命中做兜底、文本分类模型做语义判断、对话式拒答做柔性拦截。关键词表维护成本其实很高因为变体、谐音、拆字、外语混写都要覆盖而且用户会不断试探。所以关键词表的定位应该是最后一道保险不是主力。主力应该是语义分类。用一个轻量的文本分类模型几千万参数级别就够延迟控制在几十毫秒把输入分成正常创作擦边明确违规三档。三档处理策略完全不同正常直接放行擦边不直接拒绝而是走改写引导——提示用户调整描述方向同时把这次请求标记出来明确违规才直接拒绝并计数。为什么要区分因为直接拒绝会激化对抗心理而引导式拦截能显著降低重复尝试率。这是我在实际产品里反复验证过的结论。参数上给几个经验值分类置信度低于 0.6 的一律按擦边处理走引导流程同一账号 10 分钟内触发明确违规超过 3 次进入冷却冷却时长从 10 分钟起步指数递增触发擦边超过 20 次降级到更严格的模型分支。这些数字不是拍脑袋是根据正常用户的误触概率反推的——正常用户的误触率通常低于 1%所以任何高频触发都值得怀疑。3.2 第二层模型侧的安全对齐自建模型才有的牌如果你自建或微调模型这一层的性价比非常高。核心思路不是教会模型拒绝而是在训练数据里就把边界划清楚负向样本要覆盖足够多的场景变体不能只放几类典型样本同时要保留足够的正向能力别把模型训练成什么都不肯画。我见过一些团队用力过猛模型变得极度保守正常的风光、人物、艺术风格请求也被拒用户直接流失。具体做法上我推荐**数据配比 负向引导**的组合。数据配比指的是在微调数据里安全相关的样本占比要控制在一个合理区间经验值 5% 到 15%太高会损害通用能力太低没效果。负向引导指的是在推理时对特定方向做抑制这个需要在自建推理服务上才能做第三方 API 一般不给这个权限。注意模型侧对齐有一个常被忽视的副作用——它会同时降低模型对正常边界内容的表现力。上线前一定要跑一组正常请求回归测试集确认通用能力没有明显退化否则你会在安全和体验之间做出一个错误的两难选择。3.3 第三层输出侧的多模态检测宁可慢一点输出侧检测是整个体系里最贵也最有效的一环。技术上通常是图像分类模型 敏感区域检测 置信度分级的组合。分类模型负责整体判断区域检测负责定位分级负责决定处置动作。流程上我建议做成异步先给用户一个生成中的状态检测通过再展示不通过就给一个模糊的失败提示。多等一两秒用户是能接受的但如果违规内容流出去了代价完全不成比例。处置策略我建议分三档高置信度违规直接拦截 账号计数中置信度进入人工复核队列 暂时不展示低置信度放行但打标记用于后续模型迭代。这里的关键是人工复核队列必须有人真的看很多团队建了队列但没人处理最后积累几万条待审形同虚设。我的建议是设一个每日处理上限比如 200 条超出就提高自动判定阈值逼迫模型迭代而不是靠人力堆。成本上给个参考一张图跑一次检测的算力成本大概是生成成本的 5% 到 15%取决于模型大小和输入分辨率。所以别在检测阶段用超大模型用小模型 多尺度裁剪的性价比更高。3.4 第四层账号行为与分发风控治本的那一层前面三层都在管单次内容这一层管人。我的观点很明确单次内容审核是治标行为风控才是治本。因为违规内容的生产者一定会在行为上留下模式短时间内高频生成、生成成功率和失败率异常、账号年龄极短、设备指纹集中、收款行为异常、内容相似度极高。这些信号单个看都不致命叠起来就是铁证。我用一张表把常见的行为信号和处置动作对应起来行为信号判定逻辑处置动作新账号 24 小时内生成超 50 次远超正常使用量限制配额至 10 次/日单账号拦截率超 30%明显试探行为强制人工复核后才恢复多账号共用设备指纹疑似批量操作绑定主账号共享风控等级生成内容与历史高度相似疑似批量产出降低生成频率限制短时间内出现收款行为变现特征明显触发二次验证 内容全量复审这张表里的阈值都是经验值你可以根据自己的用户分布重新校准。校准方法很简单拉一批正常用户的真实行为数据算分位数把阈值设在 99 分位以上这样误伤率就能控制在 1% 以内。千万别凭直觉设阈值误伤一个正常用户的成本抵得上放过十个异常用户。这个账我算过很多次屡试不爽。3.5 一条最小可用的审核流水线把上面四层串起来一条最小可用的流水线大概是这样请求进来先过输入侧三件套命中明确违规直接拒通过后进入模型推理推理完成不直接返回先丢进检测队列检测高置信度违规直接拦中低置信度按策略处置同时把这次请求的账号、设备、时间、提示词、结果全部写进留痕表行为风控模块每隔一段时间跑一次批量分析把异常账号降级。整条链路增加的延迟大概在 1 到 3 秒成本增加 10% 到 20%换来的是漏检率下降一个数量级。我知道有团队会说我们小做不了这么多。那就按成本排优先级留痕几乎零成本→ 关键词表零成本→ 行为风控低成本→ 输出侧检测高成本→ 模型微调最高成本。这个顺序是按性价比排的不是按效果排的。如果预算只够做一件事做留痕够做两件加行为风控。4. 未成年人使用生成式工具产品设计上必须想清楚的事这一节我想聊得更具体一点因为这次事件的特殊性在于当事人是在校学生。做产品的人都该问自己一个问题我的产品如果被一个 14 岁的孩子拿到会发生什么如果你答不上来说明你的产品设计里缺了一块。这不是要求所有人都做青少年模式而是要求你在设计阶段就想清楚最小能力原则和分级策略。4.1 年龄识别做不到精准但可以做分级先说个现实真正精准的年龄识别几乎做不到任何自报年龄都可以造假生物特征识别又有隐私和合规问题。所以我的思路不是识别年龄而是识别风险等级。做法是默认所有新账号处在最严格的策略档位随着使用时长、行为正常度、完成验证等因素逐步放宽。这就是渐进式信任模型它在未成年人场景下的效果远好于一次性年龄验证。具体设计上我会设三个档位。基础档生成配额低每日 10 次以内、输出侧检测阈值最严、不允许下载原图、不允许外部分享。标准档配额正常、检测阈值标准、允许下载。高级档需要完成额外验证配额更高可以调用更复杂的功能。一个孩子拿到的账号大概率会在基础档待很久因为配额一用完就没法继续这本身就形成了天然限制。4.2 最小能力原则不是给得越多越好我在评审产品方案时最常提的一个问题就是这个功能真的现在就要上吗很多团队有一种功能焦虑觉得别人有的自己也得有于是把能力全开。但在生成式 AI 这个领域能力的边际收益是递减的而风险的边际成本是递增的。多给一个高清放大功能可能只是让图好看一点但它同时也让不当内容的传播价值更高。所以我的建议是先上线最小能力集观察行为数据再逐步放开。比如文生图的初版可以只支持固定分辨率、固定风格、不支持局部重绘、不支持图生图。这些限制对正常用户的影响其实很小——大部分人就是想要一张能用的图不需要精细控制。但对滥用者来说这些限制会让批量生产高质量内容变得很麻烦成本一上去动机就弱了。4.3 家长和学校能做的技术侧动作这部分我写得克制一些因为不想变成说教。从技术角度家里如果有孩子用这类工具几件事是有实际作用的。第一把生成类应用放在共用设备上而不是孩子的私人设备上——不是为了监视而是让使用场景天然带有被看见的属性这比任何技术限制都有效。第二了解孩子在用什么、能生成什么很多家长完全不知道现在一句话就能出图认知差本身就是风险。第三和孩子讨论生成的东西能不能发给别人这个问题这比讨论能不能生成更关键因为真正的伤害发生在传播环节。学校侧我觉得有价值的不是禁止使用而是把 AI 工具放进正常的课堂讨论里。比如美术课、信息技术课让孩子自己动手生成、自己判断哪些结果不合适、自己讨论为什么。当一件事从神秘的好奇变成公开的常识它的吸引力会大幅下降。这是我从做青少年产品的一线经验里得到的判断比任何禁令都管用。5. 排查实录内容审核上线后最常遇到的六个问题这一节是我压箱底的部分。前面讲的是应该怎么做这里讲的是做完之后会出什么问题。我带过的几个项目里审核系统上线后的第一个月几乎都在处理误杀和漏放这个过程很痛苦但绕不过去。我把高频问题整理出来你对照着看能省不少时间。5.1 误杀和漏放是一个跷跷板别指望两头都完美新手最容易犯的错误是追求零漏放结果误杀率飙升正常用户怨声载道。我的经验是先定误杀率上限再优化漏放率。具体做法是拉一个 500 到 1000 条的正常请求样本集要求误杀率不高于 2%这个数字可以根据业务调在这个约束下尽量压低漏放。为什么是误杀优先因为误杀的伤害是确定的、立刻的、用户能感知的漏放的伤害是概率的、延迟的、可能不发生的。从产品角度前者更致命。5.2 变体词永远追不完改用语义而不是字面这个坑我踩得最深。上线初期我们维护了一个几千条的关键词表结果第一周就被各种变体穿透。后来我们想通了字面匹配本质上是和用户在打一场必输的军备竞赛因为自然语言的变体空间是指数级的。解决方案是把重心从词表转到语义向量用嵌入模型判断意图方向而不是匹配字符串。词表保留但只作为快速通道和兜底。切换之后穿透率下降了一个数量级。5.3 图片侧漏检最常见的三个场景输出侧检测也不是万能的我遇到过三类典型漏检。第一类是构图取巧主体区域很小、大量留白整体分类模型容易被背景稀释。第二类是风格伪装用强烈的艺术风格掩盖内容特征。第三类是局部违规整张图 95% 正常只有一小块区域有问题。对应的解法多尺度裁剪把图切成若干块分别检测、固定几个高频风险风格做专项模型、以及局部区域检测模型。这三招加上之后漏检率能压下来不少但成本也上去了需要权衡。5.4 一张速查表遇到问题先对号现象最可能的原因优先排查方向正常请求被拒语义模型阈值过低拉误杀样本看置信度分布明显违规放行只做了字面匹配检查是否走了语义分支审核延迟过高输出检测同步阻塞改异步 加缓存同一账号反复穿透无行为风控补账号维度的频次限制人工复核队列积压阈值设置不当提高自动判定阈值逼模型迭代夜间违规率升高审核人力不足夜间提高自动阈值牺牲部分召回这张表我在三个项目里都用过基本能覆盖 80% 的日常问题。用它的关键不是找答案而是快速排除——先确认不是最蠢的那个原因再去深挖。5.5 我踩过的两个坑你别再踩第一个坑是过度依赖单一检测模型。早期我们把所有希望寄托在一个分类模型上结果模型迭代一次线上指标就抖一次。后来改成主模型 规则兜底 人工抽检三路并行稳定性立刻上来了。第二个坑是没有做灰度。审核策略的任何调整都应该先在小流量上跑观察误杀和漏放的变化全量上线太危险。我们有一次调整阈值没灰度第二天客服工单涨了三倍。6. 给不同角色的检查清单最后这部分我把前面的内容压缩成可执行的清单不同角色可以直接对照自己的位置看。6.1 给做 AI 产品的开发者上线前必须回答的五个问题输入侧有没有做语义级过滤输出侧有没有做检测生成记录有没有留痕账号有没有频次限制异常行为有没有告警这五个里任何一个答案是没有就先别上线。另外建议在项目初期就把安全预算写进方案比例上我认为不低于总研发资源的 15%这个数字看起来高但比起出事后的补救成本它是便宜的。6.2 给家长和教育工作者三个可操作的动作搞清楚孩子在用什么工具、能生成什么把使用场景放在公共空间而不是私密空间把讨论重点从能不能做转到能不能传播。这三件事不需要任何技术背景但效果比装任何管控软件都好。另外提醒一句不要用禁止作为主要手段禁令只会把行为推到你看不见的地方。6.3 给平台运营和内容审核优先做三件事建立账号维度的行为画像、把生成—分发—变现三个环节的日志打通、设置分级处置而不是一刀切封号。封号是最粗暴也最无效的手段因为账号成本极低封了可以再注册。真正有效的是降低能力——限制配额、限制下载、限制分享让账号变得没用这比封号让人难受得多。6.4 一个容易被忽略的补充建议如果只让我给一条建议我会说把安全能力当作产品能力来建设而不是当作合规成本来应付。我见过做得好的产品安全机制本身就是卖点——用户知道自己生成的东西不会被滥用反而更愿意用。这个视角的转换会直接影响你在资源分配上的决策。我在实际项目里推动这件事的经验是用数据说话把因为安全问题导致的用户流失和因为安全问题导致的品牌损失量化出来比讲一百遍道理都有用。说到底技术能力开放出去之后它就脱离了你的完全控制。你能做的是在每一个环节上把该埋的防线埋好把该留的记录留好把该给用户的引导给到。这件事没有一劳永逸的解法只有持续的迭代和对边界的敬畏。