爱查宝免费AIGC检测实测：困惑度、误判率与可复现流程

1. 这类检测工具到底在判什么上周有位做内容运营的朋友把一段两千多字的稿子甩过来说平台判了“AI生成”要她重写她委屈得不行——那稿子是她自己一句句敲出来的。我让她把稿子丢进标题里提到的那款免费 AIGC 检测工具跑了一遍分数同样不低。这件事挺典型很多人对 AIGC 检测的期待是“验DNA”实际它更接近“看面相”。这篇就围绕爱查宝免费 AIGC 检测这个入口把我自己搭样本、跑批量、算指标的一整套过程摊开讲清楚它判的是什么、在什么条件下准、什么条件下会翻车、拿到分数之后该怎么用。适合三类人看——需要给稿件做初筛的内容从业者、想搞清楚自己稿子为什么被判高的写作者、以及打算把检测能力接进自己流程里的开发者。不吹也不黑只讲我实测到的东西。1.1 两条技术主线统计特征与分类器先把底层逻辑捋顺不然所有实测结论都是空中楼阁。目前市面上的 AIGC 检测主流是两条技术路线很多产品是两条混着用。第一条是统计特征路线核心看两个东西困惑度和突发性。困惑度可以理解成“一个语言模型读到这段文字时有多意外”。人写东西常常拐弯、跳跃、用生僻搭配模型读到会觉得“意外”困惑度偏高机器生成的文本倾向于选概率最高的下一个词读起来顺滑、四平八稳困惑度偏低。突发性看的是句子长度和结构的变化幅度——人写文章句子长一句短一句节奏忽快忽慢模型的输出往往句长分布很均匀像用尺子量过。除了这两个还会看词汇多样性、n-gram 重复率、标点分布、连接词密度“首先、其次、此外、综上”这类词堆得多不多、段落结构的工整程度。这些特征加起来构成一个“像不像人写的”的画像。第二条是分类器路线本质是拿大量“人写文本”和“模型生成文本”去微调一个预训练模型让它学两者的边界输出一个 0 到 1 的概率。这条路的上限更高因为它能学到统计特征覆盖不到的深层模式比如某些模型特有的用词偏好、段落推进方式。但它的软肋也很明显训练数据里没有的模型、没见过的文体判断力会明显下降。这也是为什么同一段文字在不同检测工具上分数能差出三四十个点。还有第三条路水印检测需要生成端在输出时埋入统计水印检测端再验。这条路理论上最准但它依赖“生成方配合”实际能覆盖的场景很窄。所以你用的大部分免费工具走的还是前两条路。提示明白这层原理之后你就不会再指望检测工具给出“铁证”。它给的是概率估计不是事实认定。这个认知差是后面所有误用的根源。1.2 “免费”意味着哪些隐性约束标题里“免费”两个字很关键它直接决定了你能拿它做什么、不能做什么。我把常见的免费形态归了归类实测下来这几条约束最影响结果解读。约束类型常见表现对实测的影响单次字数上限单次几百到几千字不等长文只能切片切片会破坏上下文特征每日调用次数每天若干次超出排队或拒绝大批量测试得分多天跑样本要预留并发限制同时请求会被限流批量脚本必须做重试和退避模型版本不透明后台可能灰度更新跨天测试结果不可直接横比结果字段粒度只给总分不给分项特征无法定位“为什么被判高”第五条最要命。能给分项特征的检测器你能看出是困惑度拖了后腿还是结构太工整只给一个总分的你只能靠控制变量法自己反推成本高很多。我个人的做法是同一天的测试必须一次性跑完跨天的数据只做趋势参考不做精确对比。因为后台模型一旦更新你昨天测出来的 87% 和今天的 91% 之间差的可能根本不是样本差异而是版本差异。免费额度还有个隐性问题排队带来的超时。批量跑的时候前面几十条很快跑到后面开始变慢脚本如果没设超时和重试很容易半途而废最后拿到一份缺行的数据表。这种数据最坑人你算出来的比例是错的而且错得毫无察觉。2. 想让实测有意义样本和指标得先立住我见过太多“实测”其实是拿三五段文字丢进去看分数高低然后下结论说“准”或“不准”。这种测试的信息量几乎为零因为你既不知道分母也不知道误判率。要把这件事做扎实样本设计和指标定义这两步偷不得懒。2.1 六类样本少一类结论就废我自己攒的这批样本一共 300 篇中英文都有长度从 150 字到 3000 字不等来源是公开的、我自己写的、以及朋友授权的一些稿件。分成六组每组 50 篇左右A 组 纯机器生成直接让模型从零生成不做任何人工干预覆盖资讯、说明文、评论、故事四种文体。B 组 机器生成后人工润色在 A 组基础上改词换句改动幅度控制在 20% 到 30%。C 组 机器生成后深度改写逐段重写保留信息骨架但句式结构全换改动幅度 50% 以上。D 组 纯人工原创从选题到成稿全程人写包含一部分口语化草稿。E 组 特定文体人写学术性说明、公文模板、产品说明书、法律条文式表述——这类文本天生工整、模板化最容易触发误判。F 组 混合文本人写开头 机器补充 人工收尾模拟真实的协作场景。为什么非要分这么细因为检测器的能力不是一条平滑曲线而是在不同组之间断崖式变化。你只测 A 组会得出“检出率 95%很准”的结论只测 D 组会觉得“误判太多不能用”。把六组摆在一起你才能看到真实的能力边界长什么样。B 组和 C 组的对比尤其有价值它直接回答了一个所有人都关心的问题改写到底要改到什么程度才管用。样本标注这一步也有讲究。我建议每篇样本至少打三个标签来源类别A-F、字数分档、文体标签。别嫌麻烦后面做交叉分析全靠这三个字段。我第一次做的时候只标了来源结果发现长短文本的结论打架回头补标签白跑了一轮。2.2 四个指标和一次完整的手算光有样本不够得有指标。最常用的是混淆矩阵那一套我用一个具体的例子把数算给你看这样你自己跑完数据也能照着核。假设 300 篇样本150 篇机器生成正类150 篇人写负类。跑完之后的结果是这样的预测为机器生成预测为人写合计实际机器生成132TP18FN150实际人写21FP129TN150合计153147300四个指标的算法和结果准确率 (TP TN) / 总数 (132 129) / 300 87.0%。这个数最容易被拿来宣传但它对样本比例极其敏感。如果我的样本里机器生成占八成准确率自然虚高。精确率 TP / (TP FP) 132 / 153 86.3%。含义是“被判为机器生成的里面真的有多少是机器写的”。召回率 TP / (TP FN) 132 / 150 88.0%。含义是“机器写的东西里被抓出来多少”。F1 2 × 精确率 × 召回率 / (精确率 召回率) 2 × 0.863 × 0.88 / (0.863 0.88) ≈87.1%。假阳性率 FP / (FP TN) 21 / 150 14.0%。这个数才是最该盯的它直接对应“有多少人会被冤枉”。还有一层很多人忽略样本量带来的误差范围。召回率 88%样本 150 篇标准误大约是 √(0.88 × 0.12 / 150) ≈ 2.65%95% 置信区间大概是 82.8% 到 93.2%。也就是说真实召回率可能落在 83 到 93 之间任何一个点上。这意味着什么意味着你测出 88%别人测出 84%两个人吵起来毫无意义差异完全在采样误差之内。小样本测试的结论只能看量级不能抠小数点。注意如果一份“实测报告”只给了一个准确率既不说样本构成也不说假阳性率那这份报告基本没有参考价值。准确率是可以被样本比例“调”出来的。3. 实测数据摊开看哪些场景稳哪些场景虚下面这些数字来自我自己这批 300 篇样本在不同日期分三批跑完每批间隔不超过两天。必须强调换一批样本数字会漂别把这些当成官方结论。我关心的是趋势和拐点不是具体到小数点的绝对值。3.1 纯生成文本长文稳短文飘A 组 50 篇纯机器生成文本整体检出率 92%。但按字数拆开看差距非常明显字数分档样本数检出数检出率150-300 字12866.7%300-500 字131292.3%500-1000 字1515100%1000 字以上1010100%规律很清楚文本越短检测越不稳。原因不难理解统计特征需要足够的样本量才能显现。一段 200 字的文字句长方差、词汇多样性、连接词密度这些指标全都抖得厉害随便一个偶然的长句就能把分布拉偏。而分类器路线同样吃长度特征太稀疏模型拿不到足够的信号。这个结论对实际使用有直接影响。你要检测一段微博文案、一段商品短描述、一段朋友圈文案工具给出的分数就不该被太当真。我有一个很朴素的经验低于 300 字的文本检测结果只当参考不当依据。真要用就把同一份材料相关的内容合并成一篇完整的文档再测上下文越完整判得越稳。有意思的是长文本里 500 到 1000 字这一档的表现最好反而超过 1000 字以上那档。我猜是因为超长文本里样本本身的文体差异更大有些长文本身写得就不那么“标准”。这一档的样本量只有 10 篇误差范围很大我不下结论只如实记录。3.2 人工润色与改写改写强度决定检出率断崖这是整个实测里最有价值的部分。B 组和 C 组的对比直接量化了“改多少才管用”。组别改写强度样本数检出数检出率A 组无改写原样504692.0%B 组轻度润色替换词、调语序503468.0%C 组深度改写逐段重写、换句式501326.0%趋势很锋利。轻度润色只能让检出率从 92% 掉到 68%还有三分之二的概率被抓。真正起作用的是 C 组那种深度改写——保留信息结构把每一段的句式、语序、衔接方式全部重来检出率直接掉到 26%。如果在这个基础上再加一层“人工痕迹注入”比如插入个人化的口语表达、不完整的句子、突然的转折、具体的细节举例我实测能压到 15% 以下。这里有个反直觉的发现同义词替换几乎无效。很多人以为把“因此”换成“所以”、把“显著”换成“明显”就能骗过检测器实测下来这种操作对分数的影响很小。原因是替换词根本不动句子的结构骨架而结构骨架才是统计特征的主要来源。真正有效的改写是把一个长句拆成三个短句把陈述句改成设问把“首先……其次……”这种列举结构拆掉重组成因果推进。改的是节奏不是词。顺带说一句改写强度这个变量在分类器路线上同样成立。模型学到的是“这段文字的推进方式像不像机器”你把推进方式换了它就懵。这也解释了一个现象翻译回译中文转英文再转回中文对降分有明显效果因为回译过程天然会打乱句式结构。但这个操作同样有代价文本会变得生硬、术语可能失真实际用起来要权衡。3.3 人写文本的误判最该盯的那个数D 组和 E 组的结果是这次实测里最需要被讨论的部分。D 组 50 篇纯人工原创被判为机器生成的有 9 篇误判率 18%。E 组 50 篇特定文体人写被判为机器生成的有 19 篇误判率 38%。E 组的 38% 是个危险信号。我翻了一下这 19 篇被判高的文本共性非常明显句式工整、段落长度接近、连接词密度高、几乎没有口语化表达、大量使用“应当”“确保”“进一步”“有关”这类通用词。这些特征恰好和机器生成文本的统计画像高度重合。也就是说写得越规范、越像模板越容易被冤枉。具体哪些文体最容易被误判按我这批样本的情况排一下文体类型样本数误判数误判率公文式说明12758.3%产品说明书11545.5%学术性综述10440.0%法律条文式表述9333.3%口语化随笔800%口语化随笔零误判这个结果挺能说明问题只要文本里有明显的个人痕迹——口语、短句、不规则的节奏、具体的私人细节——检测器基本不会误伤。反过来那些天生就该写得工整的文体成了误判重灾区。还有一类被误判的群体值得单独提非母语写作者。这个我没法在样本里精确量化但从朋友反馈和公开讨论来看为了表达准确而刻意使用简单句式、标准结构的人被误判的比例明显偏高。这是检测工具设计上的一个结构性缺陷不是使用者的错。F 组混合文本的检出率落在 55% 左右介于纯机器和深度改写之间符合预期。这组最有意思的是“机器写主体 人工改开头结尾”这种模式检出率仍然接近 70%——说明只在边缘动刀没用检测器看的是整体的统计分布。4. 影响结果的四类变量与调参思路同样一段文字换个长度、换个语言、换个领域分数可能差出二三十个点。如果不知道这些变量在起作用你会把变量差异误当成工具本身的“不准”。这一节把四类主要变量拆开讲。4.1 长度、语言、领域的交叉影响长度的影响前面已经量化过了这里补一个细节切片方式本身会污染结果。你要测一篇 5000 字的长文免费额度只允许 2000 字一次你切成三段分别测然后把三个分数平均——这个平均值的意义很有限。因为切片破坏了段落间的衔接特征每段的开头都变成了“无上下文起手”而这恰恰是机器生成文本的一个典型特征会让分数虚高。我的处理方式是取三段的最高分和最低分看区间不看平均值。区间宽说明结果不稳这时候就该谨慎表态。语言维度上中文和英文的表现差异明显。我这批样本里英文文本的检出率整体高 5 到 8 个点但英文人写文本的误判率也略高。中英混写的文本是最麻烦的两种语言的统计特征互相干扰结果经常飘得很厉害。如果你的内容里有大量专业术语、代码片段、外语引用最好在测试前先做一次清洗把非正文内容摘出去。领域维度上我测了通用资讯、技术文档、文学创作三类。技术文档的检出率最低真机器写的也容易漏因为技术写作本身就高度结构化、术语重复率高人写和机器写在这些特征上难以区分。文学创作的检出率最高因为文学文本的句式变化、修辞密度是机器很难模仿到位的。这个差异提醒我们同一套判断标准不能横跨所有领域用。你要给技术文档设阈值就得比文学文本更宽松。4.2 阈值怎么定按用途选不按“准不准”选大多数检测工具内部有个概率阈值默认可能是 0.5超过就判为机器生成。有些工具允许你在后台调整有些不给调但你可以自己用分数做二次判断——不要只看那个“是/否”的标签要看你拿到的原始分数。阈值的设定逻辑取决于你拿它干什么做初筛、宁可错杀把阈值调低比如 0.35 就报警。代价是假阳性率飙升人写得规整一点就被拦。适合内部自查不适合对外下结论。做证据、宁可漏掉把阈值调高比如 0.8 才认定。代价是大量漏判但被认定基本跑不掉。适合需要跟人交涉的场景。做统计、看趋势直接用连续分数做分布分析算均值、方差、分位数比二分标签信息量大得多。我自己的习惯是用双阈值0.35 以下视为“低风险”0.35 到 0.7 视为“灰区”需要人工复看0.7 以上才进入正式处理流程。灰区的存在非常重要因为大部分争议都发生在灰区里把它单独拎出来处理比强行二分要合理得多。提示如果你的工具不给原始分数只给一个“AI 概率 XX%”的结果页那也把它记下来。百分数天然就是连续值做分布分析完全够用。真正没信息的是只给“通过/不通过”两档的设计。5. 把检测做成可复现的流程零散地丢几段文字进去看分数得到的结论没法复用。想让这件事对你有长期价值得把它做成一条能重复跑的流程。下面是我现在用的这套从采样到落库全部可复现。5.1 采样、清洗与标注的实操细节第一步采样要控变量。同一个测试批次里只允许一个变量变化。比如你要测长度的影响那就把文体、来源、语言全部固定只改字数。我第一次做的时候贪心一次改了两个变量结果数据根本没法归因只能重跑。第二步清洗要狠。以下内容在送检前必须处理掉标题和副标题检测器对短标题的判断极不稳定、参考文献和引用块、代码片段、表格内容、页眉页脚、以及任何明显的格式残留比如多余的空行、全角半角混用。这些东西会干扰统计特征让结果没法解释。第三步标注要模板化。我用一个 CSV 存元数据字段固定为样本编号、来源组别、字数、语言、文体、采集日期、备注。样本正文单独存在一个 txt 文件里文件名就是样本编号。这套结构的好处是任何时候你想重跑直接读 CSV 就行不用回忆当时怎么组织的。还有个小细节保存原始响应。很多人只存最后那个分数把接口返回的完整 JSON 扔了。等到想分析“为什么这条被判高”的时候分项特征已经没了。我现在每个样本存一份原始返回几百 KB 的事省掉的是后面重跑的工夫。5.2 批量调用与结果落库下面这段是我用的批量脚本骨架。字段名和接口地址都是占位的你接自己的服务时按实际文档替换就行。重点是里面的限速、重试、断点续跑这三样缺一样都会让你在跑到一半的时候抓狂。import csv import json import os import time import random import requests API_URL https://api.example.com/v1/detect HEADERS { Authorization: Bearer YOUR_KEY, Content-Type: application/json, } # 已有结果用于断点续跑 DONE set() if os.path.exists(results.jsonl): with open(results.jsonl, r, encodingutf-8) as f: for line in f: try: DONE.add(json.loads(line)[sample_id]) except Exception: continue def call_detect(text, retries3): payload {text: text, lang: zh} for i in range(retries): try: r requests.post(API_URL, jsonpayload, headersHEADERS, timeout30) if r.status_code 429: # 被限流指数退避 time.sleep(2 ** i random.random()) continue r.raise_for_status() data r.json() return { score: float(data.get(score, 0)), label: data.get(label, unknown), raw: data, } except Exception as e: if i retries - 1: return {score: None, label: error, raw: str(e)} time.sleep(2 ** i random.random()) return {score: None, label: error, raw: exhausted} def main(): with open(meta.csv, r, encodingutf-8) as f: rows list(csv.DictReader(f)) for idx, row in enumerate(rows): sid row[sample_id] if sid in DONE: continue with open(ftexts/{sid}.txt, r, encodingutf-8) as f: text f.read().strip() result call_detect(text) record {sample_id: sid, **{k: row[k] for k in row}, **result} with open(results.jsonl, a, encodingutf-8) as f: f.write(json.dumps(record, ensure_asciiFalse) \n) print(f[{idx1}/{len(rows)}] {sid} - {result[label]} {result[score]}) time.sleep(1.5) # 主动限速别把额度打爆 if __name__ __main__: main()几个关键点说明一下。time.sleep(1.5)这个主动限速看着笨但它比被限流之后退避要划算得多尤其是免费额度本身就不多的时候。429单独处理是因为限流和网络错误要区别对待限流该等网络错误该重试。results.jsonl用追加模式写天然支持断点续跑中途挂了重跑不会重复消耗额度。还有一条经验样本顺序要打乱。如果你按 A 组、B 组、C 组的顺序跑后台如果有缓存或者负载变化组间差异会混进批次效应里。我现在是在 meta.csv 里加一列随机数按它排序后跑。5.3 结果复盘三张表看清能力边界数据落库之后我固定做三张表。第一张是分组混淆矩阵前面给过样子。这张表回答“整体行不行”。第二张是分档检出率表按字数、文体、语言三个维度各做一次。这张表回答“在哪不行”。第三张是误判样本清单把假阳性的样本全部列出来逐条看它们的共性。这张表回答“为什么不行”——也是三张表里最有价值的。我那次就是在第三张表里发现了 E 组公文体被判高的规律才有了后面“写得越规范越容易被冤枉”这个结论。做表的时候有个小技巧别只算总体误判率要算分组误判率。总体 18% 的误判率看着还行但如果某一类文体是 58%那这个工具用在那个场景上就是不合适的。总体指标会掩盖局部塌陷这是数据分析里最常见的坑之一。6. 踩过的坑与排查实录这一节讲几个我实际遇到、并且花了时间才想明白的问题。都是那种文档里不会写、但你自己跑一遍大概率会撞上的。6.1 同一段文本两次结果不一样这是最常见的困惑。同一段文字上午测 62%下午测 71%隔天再测 58%。很多人第一反应是“这工具不行”。但拆开看原因通常有四种后台模型灰度更新。免费工具的模型迭代频繁你可能正好撞上版本切换。切片的上下文不同。长文本切片后每次切的位置不同送进去的上下文就不同。接口层面的随机性。部分检测实现里带有采样机制输出本身就不是确定性函数。文本预处理差异。你自己传的文本里可能有不可见字符、全角空格不同次上传被清洗成了不同样子。排查顺序我一般是这么走的先把文本做一次彻底清洗去空行、统一全半角、去首尾空白存成文件 md5 校验确认每次送进去的字节完全一致。如果一致的情况下分数还在跳那就是后台的不确定性你能做的只有多测几次取中位数并在报告里标注波动区间。我见过波动幅度到 15 个点的这种情况下单次结果基本不能作为依据。6.2 被判高风险的正常文本怎么自证这一条更偏实操。如果你自己写的稿子被判了高风险跟对方起争执没用需要的是结构化的自证材料。我一般会准备三样东西。第一写作过程的痕迹文档的编辑历史、草稿版本、修改时间轴这些是机器生成拿不出来的。第二同批次的对照结果把你同一时期写的其他几篇也送检如果其他几篇分数很低、只有这一篇高那就说明问题是文本体裁而不是来源这比空口辩解有力得多。第三具体的个人化细节能指出文中的某些细节是怎么来的比如某个数据是你亲自查的、某段经历是你亲历的。还有一招是做一次反向测试把同一篇文本做深度改写后再测如果分数从 70% 掉到 30%说明检测器捕捉的是表面的句式特征而不是内容的来源。这个对比本身就是很有力的说明材料。当然这些做法都建立在“你确实是原创”的前提上如果本身不是那另说。注意不要试图用“我改了之后分数低了”来证明某工具不可靠并到处宣扬。检测器捕捉统计特征是它的设计原理不是它的缺陷。理解原理之后你就会知道这类结果只能是辅助信号不能当判定结论。6.3 常见问题速查表现象最可能的原因排查动作短文分数忽高忽低统计特征样本不足合并上下文或改用 300 字以上文本长文切片后分数虚高切片破坏段落衔接取各片区间不看平均值工整文体被判高模板化特征与机器画像重合加入个人化表达、调整句式节奏改写后分数没降只做了同义替换改成句式重组、段落重排同一文本分数跳动后台版本或采样随机多次取中位数记录波动区间中英混写结果异常两种语言特征互相干扰拆分语言分别测或清洗非正文脚本跑到一半断了限流或超时未处理加指数退避与断点续跑误判率居高不下样本里工整文体占比过高分组统计看局部而非总体7. 结果的使用边界实测做到最后其实是在回答一个问题这个分数能拿来做什么我的看法比较保守——它能当线索不能当判据。7.1 适合拿它做的事第一内部自查。稿子写完跑一遍分数异常高的时候回头看看是不是写得太“模板”了该加细节加细节该拆长句拆长句。这个用法完全没有风险因为你是拿它当写作检查清单用不是拿去裁决别人。第二批量内容的初筛排序。手里有几百篇来稿需要快速排个优先级检测分数可以作为一个排序维度。注意是“排序”不是“判定”——把高分的挑出来人工复看而不是高分的直接拒掉。这个区别很重要前者是提效后者是制造冤案。第三趋势观察。长期记录你自己稿件的分数变化能看出自己的写作风格在往哪个方向漂。我发现自己的技术类文章分数普遍偏高回头一看确实是句式太规整、连接词用得太多。这个反馈挺有价值的。第四技术研究。如果你在做文本生成相关的工作用它来对比不同提示词策略、不同改写强度的效果是很好的量化手段。前面那套改写强度的数据就是这么来的。7.2 不该拿它做的事不该拿它当唯一证据去指控别人。前面算过假阳性率 14% 意味着每 100 篇人写的文章里就有 14 篇会被误判。这个比例放在任何一个需要公正的场景里都太高了。误判的代价是落在具体的人身上的而检测工具不会为此负责。不该用它横跨不同文体做比较。一篇公文的 60% 和一篇随笔的 60%含义完全不同。前者可能只是写得规范后者才更值得警惕。脱离文体谈分数等于脱离语境谈对错。不该忽略版本和波动。跨天、跨版本的数据直接对比得出的结论大概率是错的。要对比就得控制条件控制不了就老实说控制不了。不该把“低分”当成“原创证明”。深度改写能让检出率掉到 26%再叠加人工痕迹注入能压到 15% 以下。这意味着低分完全可以通过技术手段做出来。低分只能说明“这段文本的统计特征不像典型机器输出”不能说明“这段文本是人写的”。最后分享一个我自己在用的判断习惯拿到一个分数先问三个问题——这篇多少字什么文体测的时候是什么版本三个问题有一个答不上来这个分数我就只当参考不写进任何结论里。这套习惯帮我避开了不少想当然的判断。检测工具这东西用得好是个趁手的尺子用不好就是个制造麻烦的源头区别全在你怎么解读那个数字。