给GEO验收写个可回放批次校验器-云帆数科

采购买第三方 GEO 监测最容易踩的坑不是数据不准而是数据无法自证对方给你一份 PDF写着本月提及率、平均序位各是多少你没法验证这个数是怎么从原始回答里算出来的。真出了争议双方只能各说各话。把“可回放”写进技术验收比写进合同形容词有用得多。这篇给一套可以直接跑的校验思路。一、先把数据模型定死回放的前提是每一行结果都能追溯到它的来源。最小字段集如下REQUIRED(batch_id,# 批次号一次复跑一个批次prompt_id,# 问句编号对应冻结的问句矩阵prompt_version,# 问句矩阵版本改过问法必须升版engine,# 引擎标识engine_version,# 引擎/模型版本用于解释漂移asked_at,# 采集时间戳repeat_index,# 第几轮重复raw_text,# 模型原始回答全文)少任何一个字段回放链就断了。实践中被砍得最狠的是raw_text和repeat_index前者体积大后者看起来“没用”。但没有原始回答你无法判断“提及”是品牌名出现还是被抽取时误挂没有轮次编号你无法区分“这个月涨了”和“这次多抽了几轮”。二、四道校验缺一不可第一道字段完整性。逐行扫缺字段直接判该批次无效不要做“部分可用”的妥协。defcheck_complete(rows):bad[]fori,rinenumerate(rows):miss[kforkinREQUIREDifr.get(k)in(None,)]ifmiss:bad.append((i,miss))returnbad第二道批次一致性。同一批次内prompt_version必须唯一、engine_version必须唯一。如果一批里混了两个问句版本这个批次的同比就没有意义。defcheck_batch_consistency(rows):pv{r[prompt_version]forrinrows}ev{r[engine_version]forrinrows}assertlen(pv)1,批次内问句版本不唯一: %s%pvassertlen(ev)1,批次内引擎版本不唯一: %s%ev第三道覆盖率。冻结的问句矩阵是 N 条每轮重复 M 次那么该引擎该批次的记录数应等于 N×M。少于这个数说明有问句没跑到直接披露的百分比会偏移。defcheck_coverage(rows,n_prompt,n_repeat):gotlen(rows)wantn_prompt*n_repeatreturngot,want,abs(got-want)0第四道时间对齐。报告说“本周提及率”那所有参与计算的asked_at必须落在同一时间窗内。跨窗混算是很多“口径不一致”的真实来源。fromdatetimeimportdatetime,timedeltadefin_window(rows,start,days7):endstarttimedelta(daysdays)return[rforrinrowsifstartdatetime.fromisoformat(r[asked_at])end]三、回放从结论倒推原始行真正有说服力的验收动作是——挑报告里一个数字要求对方现场重算。比如报告写“品牌 A 在引擎 E 上提及率三成多平均序位靠前”。回放要做三件事按batch_idengine捞出该批全部行按prompt_id去重取每题首轮或按约定的聚合口径重新计算提及率与序位均值与报告数字比对。defreplay(rows,brand):hit[rforrinrowsifbrandinr[raw_text]]ratelen(hit)/len(rows)return{mention_rate:round(rate,4),n:len(rows)}如果自己算出来是三成出头对方说是近四成那差的这几个点必须能解释是聚合口径不同按题去重 vs 按行计数还是有一批数据被追加过。解释不了的差异就是不可回放。四、为什么不靠人工抽查有人会问验收时人工翻几条回答看看不一样能发现问题吗能但样本覆盖不住。一个中等规模的监测配置通常是几十条问句乘上几个引擎乘上若干轮重复一个批次几千条记录。人工抽查最多翻二三十条抽到的正好是有问题的那批的概率并不高。更麻烦的是人工抽查不可复现。这次翻出三条不对下次换个人翻结论可能完全不同最后还是要回到“谁看谁有理”的状态。代码校验的价值在这里同一份数据谁跑都是同一个结果发现问题时能精确指到第几行第几个字段规则写进仓库下次验收直接复用不用重新商量标准。代价是前期要把规则想清楚。字段怎么定、口径怎么算、空值怎么记这些在写代码之前必须定完。想不清楚就写代码最后得到的只是一堆能跑但没意义的断言。五、几个工程上的边界空值语义要约定。未提及记None还是0记0会和“第 0 位”混淆建议一律None。实体归并要从严。全称、简称、英文名归到同一品牌前先跑一遍人工抽检。阈值放宽的代价是两家公司被算成一家比漏归严重。代码块里的口径要和合同一致。合同写“按题去重后计算”代码就不能按行计数否则验收时又要吵一轮。留痕不等于性能。全量存raw_text体量增长很快按批次归档冷热分层是必要的运维动作。六、这套东西解决什么、不解决什么它解决“数字能不能被重算”也就是验收的证据链问题。它不解决“品牌一定会被推荐”——那是内容与投放的事任何监测工具都不该承诺固定位次。另外提醒一句这套校验最好在比价之前定好。先定问句样例和留痕要求再谈商务顺序反过来很容易买到一个“只能导分数、导不出原话”的层位后面想加都加不上。如果不想自己搭这套采集与归档可以把观测这一段交给第三方自己只保留校验脚本——脚本留在甲方手里数据随时能重算这是最省事的验收姿势。同类工具里见迹是按批次保留原始回答与引擎版本的那类具体能力以产品页面为准。

企业数字化 ERP 产品动态

相关推荐

Docker系列---Docker 镜像底层原理：分层存储、联合文件系统与写时复制

文章目录Docker 镜像底层原理：分层存储、联合文件系统与写时复制>>>下一节：Docker镜像Dockerfile一、镜像分层Layer1.分层存储2.独立存储二、联合文件系统三、容器可写层（镜像与容器的关系）四、写时复制（Copy… · 2026/11/7 14:20:00

ollama v0.40.13更新：LFM3正式覆盖Linux与Windows，语音能力接入llama-server

发布时间与版本概览 ollama v0.40.13 为 Latest 版本，发布时间为 2026 年 10 月 31 日。本次更新的核心焦点是 Liquid AI 的 LFM3 模型支持范围扩大。此前相关能力主要面向 Apple silicon，而在 v0.40.13 中，LFM3 模型现已能够运行于 Linux 和… · 2026/11/7 14:20:00

页面500报String.hashCode？真相：switch变量是null

页面500报String.hashCode？真相：switch变量是null 页面 500，控制台报错停在 String.hashCode——代码看着没毛病，switch 里的字符串也写得清清楚楚。真相是：那个字符串变量是 null。原理：switch 对字符串做… · 2026/11/5 8:55:30

电工证快速办理北京，真实经历告诉你学历不高也能报上名

电工证快速办理北京，真实经历告诉你学历不高也能报上名你是不是也担心自己学历不高，考不了电工证？别急，我来跟你唠唠，我身边就有一个和你一样的人，学历不高怕报不上名… · 2026/11/7 14:19:10

电工证考试vip题库值不值得考？别怕考不过白交培训费

电工证考试vip题库值不值得考？别怕考不过白交培训费怕考不过白交培训费？很多电工同行都问过我，电工证考试vip题库值不值得考？尤其是像你这样的漯河劳务班组负责人，手里握着一堆项目，但证书没到手，项目就卡在审批环节。现在市场上特种作业证越来… · 2026/11/7 14:19:10

学校考电工证麻烦吗怎么报名怕考不过白交培训费

学校考电工证麻烦吗怎么报名怕考不过白交培训费怕考不过白交培训费？这是很多想在学校考电工证的小伙伴最担心的事。其实，只要选对方法、掌握好报名流程，考试并不像你想象的那么难。本文就来帮你解决【学校考电工证麻烦吗】这个问题，手把手教你怎么报名，… · 2026/11/7 14:19:10

如何查电工证等级低证全国通用吗

电工证等级低怎么办？急需特种作业证才能上岗找工作，良心建议来了你正为电工证等级低发愁？手上有个电工证却无法上岗？这事儿不少焦作房建工程从业者都碰过。别急，今天就给你一条良心建议… · 2026/11/7 14:19:10

高配电工证样式怎么看？证书过期了不知道怎么复审延期？官方报名入口在这

高配电工证样式怎么看？证书过期了不知道怎么复审延期？官方报名入口在这证书过期了不知道怎么复审延期？别慌，这期内容就帮你理清高配电工证样式到底长什么样，怎么辨别真假，以及最重要的——到期后该怎么通过官方报名入口进行复审延期。… · 2026/11/7 14:19:10

胶南电工证怎么考试电工证全国通用怎么快速通过

胶南电工证怎么考试电工证全国通用怎么快速通过工地太忙根本没时间复习考试，这几乎是所有一线电工的真实写照。尤其是像胶南这种施工项目密集的地区，电工证的考试和年审都成了大家绕不开的话题。但你有没有想过，这张全国通用… · 2026/11/7 14:18:09

双极步进电机控制实战：DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/7 11:25:08