AI不做裁判：无排序无打分讨论系统的设计与实践

最近做了件挺反直觉的事搭了一个专门用来讨论复杂问题的系统然后把排序、打分、评选“哪个回答更好”这些功能全砍了。标题就叫“AI 不做裁判”听起来像是行为艺术但真正跑起来以后我发现它解决了不少主流讨论平台根本绕不过去的麻烦。先说清楚这个东西是什么。它是一个文本讨论系统用户可以抛出问题、发表观点、补充论据、质疑对方AI 在里面的角色是整理者不是法官。它不按热度给帖子排序不给任何言论打分不告诉你谁“赢”了这场争论。所有观点在界面上一律平等只按时间先后和逻辑关系摆放。AI 负责把重复内容合并、把偏题内容标注出来、把争论焦点归纳成一张“议题地图”但绝不替你下结论。这个项目适合谁参考如果你做过社区产品、写过程序排序和打分逻辑、或者对“AI Agent 到底该扮演什么角色”这件事感兴趣这篇会很对胃口。我会把设计思路、数据模型、AI 提示词、遇到的问题和实测体验全部摊开来讲。1. 核心思路拆解为什么非要裁掉排序和打分1.1 排序的逻辑本身就带着偏见先说说“排序”这件事。传统讨论区几乎都离不开某种排序算法——按时间、按热度、按点赞数、按作者权重。看似中立其实每一种排序都是在传递一种价值观时间序偏袒早发言的人热度序偏袒已经热门的内容点赞序把“多数意见”迅速变成“唯一正确意见”。我做过一段时间社区后端对这套机制的副作用太熟悉了。一条高质量但比较冷门的回复如果前 20 分钟没有拿到足够的赞就会沉到底部后面的人根本刷不到它。撑场面的反而是那些情绪刺激强、写得短、发表时间巧的评论。这就是典型的“富者愈富”排序算法本身并不认识内容优劣它只负责把大家已经确认过的东西继续放大。更麻烦的是排序会造成一种锚定效应。现在很多论坛把默认评论区设计成“讨论中的高赞回答在前”读者还没读完问题就先看到被推上来的那个回答大脑会自动把它当成“正确背景”后面的反驳内容全变成了补充说明。这不是读者的问题是信息架构在偷偷给立场排等级。1.2 “AI 裁判”是换个方式的独裁那让 AI 来打分会不会更好很多新产品在做这件事让大模型评估每个回答的质量、情商、论证强度然后输出一个“智慧分数”。听起来很合理但实测下来有两个硬伤。第一个是伪客观。大模型对“好论证”的判断掺杂了大量训练数据里的主流偏好它更认“引用权威”“情绪稳定”“篇幅适中”这些表面特征而对冷门但正确的观点、离经叛道的洞察天然不友好。你等于把辩论的裁决权外包给了一个看不见的统计模型。第二个是博弈成本。一旦参与者知道 AI 按某套标准打分很快就会有一批人专门研究怎么“刷分数”——堆关键词、套结构化句式、引经据典但言之无物。这不是我猜的试运行时真的有人开始问“这个系统的评分标准是什么”想找到作弊路径。裁判的存在必然催生对裁判的攻略。1.3 把裁判权还给人系统会变笨重吗所以这个项目的第一个设计决策就是不设置任何“分数”也不设置任何“默认排序偏好”。每条发言平等地占据一个位置不因为点赞多而上升不因为反对多而下降。系统只保留一种调节手段——折叠折叠的理由也必须公开可见。设计时我最担心的是内容杂乱。人天生需要秩序没有排序信息不就糊成一团了实际跑下来发现真正的问题不是“缺少秩序”而是习惯了别人替自己判断“什么值得看”。把排序去掉之后用户被迫主动选择阅读路径互动方式明显从“消费热评”变成了“探索议题”慢是慢了一点但深度显著提升了。2. 系统设计与 AI 的边界2.1 给 AI 划分行动范围整理可以裁决不行确定“不做裁判”之后紧接着的问题就是AI 到底还能干什么总不能彻底删掉 AI退回纯手工论坛吧。我给它任务清单列了八个字归类、压缩、转述、提问。归类是替观点打主题标签比如“这个回复讨论的是实施成本那个回复讨论的是伦理风险”压缩是把重复论据合并成一条摘要转述是在用户观点太晦涩的时候用大白话复述一遍提问是在讨论陷入同一立场车轱辘话时生成一个“尚未被回答的关键问题”。这四件事都能极大提升讨论效率而且不涉及价值判断。与之对应的是 AI 绝对不能碰的四件事不判对错、不排名好坏、不总结“主流观点”、不生成“最终结论”。这四条直接写死在系统提示词的第一段。2.2 数据模型丢掉 score 字段后的世界传统讨论系统的数据模型里最核心的字段就是 score。帖子表有个 hot_score评论表有个 up_vote_count算法团队大半工作都是围绕这些数字做的。这个项目的数据模型一开始就把这些字段删掉了。每条发言只有四个属性作者内容时间戳父节点。没有赞踩数没有热度值没有权重。落到数据库里发言的排列顺序要么是时间倒序要么是父节点下的插入顺序和“质量”“受欢迎度”完全脱钩。这个调整的影响是全局性的。前端不再需要请求“排序参数”后端不再需要维护积分和点赞相关的索引审核系统也不再需要处理“因为被大量反对而降权”的争议。代码量少了一大截整个系统的核心逻辑变得异常干净。2.3 前端呈现时间线和议题地图双视图没有排序和打分用户打开页面看什么呢我做了两种视图。第一个是“时间线视图”。这个很直观所有发言按时间先后排成一条长流新发言永远出现在最下面。它适合快速跟进某个正在发生的讨论你永远知道自己错过了哪些片段。第二个是“议题地图视图”。这个视图不展示完整发言而是展示由 AI 整理出的议题节点中心是原始问题延伸出六个子议题每个子议题下面挂着一串代表性论点和反论点。点击任意节点再展开对应发言原文。它把“谁说的”变成了次要信息把“围绕什么问题有哪些立场”变成了主体。时间线负责记录过程议题地图负责呈现结构。两者都刻意淡化了“说得多”“被引用得多”的视觉权重因为你一旦开始用字体大小强调高频观点实际上又造出了一种隐性排名。3. 实操过程一个去裁判化讨论系统的核心实现3.1 先解决展示顺序用哈希做稳定排列排序算法这里不是被设计成移除而是被重新定义。我没有用 MySQL 的 ORDER BY score也没有用 Redis 的 ZSet而是用一个简单的哈希函数把每条发言映射到一个固定位置。具体实现是这样的发言的展示顺序由父节点 ID 加发言时间戳共同做 SHA-256取前 8 位转十进制再对 360 取模得到一个 0 到 359 之间的角度。所有同一父节点下的发言按这个角度围成一圈展示。圆形布局没有起点也没有终点视觉上根本不存在“第一条”“最后一条”“置顶”这些概念。为什么用哈希而不是随机数因为哈希是稳定的同一条发言每次刷新位置都不变方便引用和回看但它又不依赖任何内容特征你在发言前不可能知道它会落在哪个位置。这算是从技术上物理性地消灭了“抢前排”。3.2 关键的 AI 角色设定提示词实录AI 不做裁判最关键的还是提示词。直接把我现在用的系统提示词贴出来可以照抄。你是讨论空间的整理者不是裁判。你的职责是帮助人类梳理信息不是替他们作出判断。 规则一你不对任何观点的正确性发表结论禁止使用“正确”“错误”“最佳”“应该”等裁决性表达。 规则二你不对用户观点进行评分禁止输出“这个观点很有深度”“这个说法过于简单”等评价性语句。 规则三重复内容出现时提取共同论据并生成摘要记下提出者和反驳者但不要合并成“所有人都同意”。 规则四当两个立场激烈对立时你有权生成“争议焦点”卡片列出一方主张、一方反对、以及双方目前都未正面回答的空洞点。 规则五用户要求你表态时你得说“我给出的不是判断而是一种转述”然后复述用户自己的观点。这套提示词我迭代了四版。第一版只写了“不要评判”结果模型频繁输出“这个想法很有潜力”明显是训练惯性压过了规则。后来加上禁止词汇列表好很多。再加规则四之后模型开始主动生成“尚未被回答的关键问题”这才是它真正最有价值的地方。3.3 端到端工作流一次实际讨论的运行记录举个例子测试小组在系统里讨论了“远程办公到底会不会降低团队创造力”这个问题。十个人最终发了 37 条发言。如果没有 AI时间线会被大量重复论据塞满五个人各自提到“沟通成本变高”四个人说到“深度工作更容易了”还有两个人争论“创造力是不是可量化”。用户翻完 37 条要花二十分钟而且很容易漏掉埋在深处的关键反驳。AI 介入之后它先把 37 条压缩成 6 条主题摘要沟通效率、深度工作、创造力量度、管理方式、技术适配、个体差异。然后在“创造力量度”这个主题底下生成了一张争议焦点卡写明“一方认为衡量标准是产出数量一方认为是思维突破双方都没有给出可操作的定义”。整个讨论的骨架在十秒内就出来了。这整个过程里AI 没有说任何一条发言“更好”或“更对”。它做的事本质上是一种信息转换——把无序的语言转换成有序的议题结构而不是把人排成高矮次序。3.4 参数配置与工程细节在模型参数层面我做了两个非常规的选择。第一个是 temperature 设得比常规问答场景低固定在 0.2。因为内容整理任务需要高度忠实原文不需要模型发挥创造力。温度太高会让摘要加入模型自己的想象你最后得到的是 AI 的“读后感”不是讨论的“记录”。第二个是禁用流式输出。这看起来反直觉实时打字体验不好吗但整理任务输出的是一段结构化的 JSON需要一次性生成完整内容再解析流式输出会造成中间的片段无法正确落库。工程细节上AI 调用前会先做一轮文本预处理把 HTML 标签剥掉把明显重复的发言相似度超过 0.9先合并以降低上下文长度。我用的是 OpenAI 兼容接口模型是 gpt-4o-mini配合 128k 上下文一次可以处理几十条长讨论。成本不高一次完整梳理大概消耗 6000 到 15000 token。4. 常见问题与排查技巧实录4.1 没有排序之后信息过载怎么办这是被问最多的问题。很多朋友看到这个项目的第一反应是删了排序这不就是回到最原始的 BBS 了吗信息一多谁看得完。实际的处理方式是折叠但折叠的标准必须透明。系统不根据点赞折叠不根据“管理员偏好”折叠。折叠只发生在两种情况下一是 AI 判定内容与原主题的语义相似度低于某个阈值认定是偏题二是后 10 条发言已经在摘要中完全覆盖了前 20 条发言的论点只保留代表性原文其余折叠进“已归纳的重复内容”。折叠不等于删除更不是降权。被折叠的内容永远可以在“展开全部”按钮下一步还原。用户也没有“被折叠就是被否定”的感觉因为折叠提示写得是“这条发言的核心论据已被摘要收录”而不是“这条发言不够好”。4.2 AI 还是会悄悄偷藏裁判思维我调试时踩过一个大坑。表面上模型的输出没有打分但它在做主题摘要的时候会刻意偏袒“看起来更专业”的发言。比如引用数据的人哪怕数据口径有问题摘要里也会给更大权重。这是因为训练数据里“权威声音」有天然优势。解决方法是给提示词加了一条规则“生成摘要时必须同时使用提出者和反驳者的原文动词禁止使用‘事实上’‘实际上’这类强调性副词。”这条规则让模型被迫忠实原文而不是用自己脑补的语气词暗示立场倾向。另一个坑是模型在转述反对观点时会不自觉地把句式改写成“这本身就是一种偏见”。每次发现这类输出我都把文本加入“违规示例”区回灌给模型成本很低但非常有效。到第三周这类偷跑已经基本绝迹。4.3 针对“无排名系统的刷屏攻击”的处理任何开放系统都会遇到一个问题有人利用无排名规则疯狂刷屏试图用数量淹没质量。传统平台靠降权和限流处理但这里没有分数怎么识别需要先识别人类行为模式。好在这个系统里所有用户都是受邀请制所以刷屏问题被上下游同时解决了在端侧可以限制每分钟发言条数在 AI 侧模型会自动把高度相似的内容归入“重复现象”书签并标记为“统计性堆叠”而不是并入论点库。这样刷屏者用一万条相同内容轰炸也只会在页面上显示为一个“重复性输出”的小提示。不惩罚、不封号但让声音失去了传播效果。4.4 提示词不够稳试试输出格式强制遇到过相当狼狈的情况AI 返回的摘要结构偶尔不统一有时候把议题名放在 key 里有时候放在 value 里前端渲染直接崩了。后来我在系统提示词最后加了一段 JSON Schema 示例要求模型必须返回固定的结构{topics: [{title: ..., key_conflicts: [...], representative_posts: [...]}]}。这段 Schema 带来的提升比十轮提示词迭代都大。模型输出稳定性从 80% 直接拉到了 99%因为 JSON Schema 把“结构正确”从隐含规则变成显式约束。对于这类真实业务里的小故障排错思路是先看整个返回结果不要凭感觉调整温度而是把你的数据契约和技术细节写进提示词让模型理解它是调用接口而不是写散文。5. 试运行观察AI 不作为裁判之后出现了什么5.1 交锋变多站队变少最长的一次讨论持续了六天涉及三十一个用户、四百多条发言。放在传统平台上这样的话题早就被分成两个阵营互相给对方扣帽子了。但在这个系统里“分阵营”这个动作根本没有落点——因为没有点赞所有人的发言权重一样去冲高赞所谓的“控评”没有意义。参与者的行为模式明显转变从“寻找赞同者”变成“补充差异化信息”。因为 AI 的摘要会保留各方观点如果你的发言只是重复前人的论据很快会被归纳到“重复板块”不再单独展示。这逼着用户必须提供新角度讨论自然走向了建设性。5.2 这个系统适合什么、不适合什么实践下来它的优势区间是复杂议题的长期讨论比如产品方案决策、论文选题讨论、社会问题的多角度拆解。在这些场域里传统排名机制只能制造短暂的热闹而它是慢热型的越谈越深。不适合的场景也很明显求助型问题和紧急事件。你问“我的服务器为什么连不上数据库”你不会希望 20 个猜想以平等的姿态围成一圈排序在这里是真的有必要的。求助需要最优解所以系统在设定上要做场景区分——面向复杂讨论而不是单点求助。另一个短板是“破冰成本”。新用户进来会不知所措没有数字告诉他“这个回答有多少人赞同”他只能靠自己的判断力寻找信息。前 10 分钟会有点茫然但只要完成一个完整的阅读循环基本都能适应。5.3 后续扩展AI Agent 能不能主持讨论而不裁决最后再说一个正在试的方向。AI 不做裁判但可以当主持人。我打算给系统加上一个“提问型 Agent”它不是用来回答问题的而是负责在讨论陷入同质时插入一个问题在偏离主题时回拽一下在两个立场对立时问一句“你们对事实的假设是否相同”。这个 Agent 不会判断谁更接近真理它只是在维持对话的张力。我现在已经写好第一版脚本初步测试下来它能有效减少“各说各话”的情况。AI 如果一定要用来解决讨论系统的混乱那它应该做搅拌棒而不是做天平。这个项目目前还在迭代阶段我最大的体会是大家已经习惯了被别人告诉自己“什么更重要”这种惯性根深蒂固。可一旦把排序和打分拿掉讨论反而更像人和人的对话而不是赛马场的投注。后续我还会继续优化议题地图的粒度也记录一些“无裁判讨论”的真实案例如果你也在做类似的东西欢迎拿这套架构去改造反正核心思路就是一句话让 AI 帮忙看清全貌但把判断的权力握在自己手里。