如果 AGI 已经来了，而它是由……孩子们组成的？

原文标题What if AGI is already here, and it’s made of… children?作者PascioIAmPascio原文链接https://x.com/IAmPascio/status/2098799094835675574超级智能、奇点、AGI……不管你怎么叫它我们最害怕的那个东西讽刺的是也很可能是我们最看不见它来临的那个东西。这篇文章大概会是个相当热的观点但我接下来要分享的想法真的可能会让你大脑宕机。跟我一起跳进这个兔子洞吧。在开始之前先用最近的新闻给你打个底Anthropic CEO Dario Amodei 说过“AI 集群有可能接管整个互联网”。我想你大概已经猜到我在暗示什么了吧——“孩子们”。对吧对吧1936年英国著名数学家阿兰·图灵写了一篇非常重要的论文讲的是一种可以模拟任何其他机器的假设机器。他当时其实是在回答一个逻辑问题。我们今天所知道的计算机其实只是那篇论文的一个意外副产品。回头看历史过去一百年几乎所有重要技术的发明都是同样的路径。互联网最初只是冷战时期的通信实验青霉素则是培养皿被污染后的意外产物。事实是当下一个范式转移真正到来时没有人在主动扫描地平线。它只是从侧门悄悄走了进来。我提这个是因为现在我读到的每一篇关于AI未来的文章、听到的每一个播客都指向同一个正门——总是某种版本的一个巨大模型突然醒来决定把我们变成回形针。我想提出一个完全不同的未来。因为我一直在想如果AGI其实根本不是我们以为的那样呢如果我们现在正在孕育的东西根本不像 HAL 9000、天网或者某个坐在沙漠水冷 GPU 堆顶上奴役人类的主权机器神呢如果它根本没有名字如果它根本没有服务器而最可怕的假设是……如果它已经在这里了以百万个微小碎片的形式存在而我们之所以没认出来只是因为过去十年我们一直在期待某个单一的东西我昨天刚看到一条帖子。它几乎完美总结了我们正在走的方向。我想慢慢带你走一遍这个思路因为这篇文章结尾的结论是那种一旦想过就再也无法不想的东西。所以慢一点倒杯茶把手机放到房间另一边再读。我保证你很快就会明白为什么我一直在想这件事。一、智能从来都不需要住在一个单一的大脑里“No neuron is intelligent. The brain is.”没有一个神经元是智能的。大脑才是。—— 这句话应该刻在每一家 AI 实验室门口首先要理解的是就我们目前所知的所有例子来看智能其实不是一个东西而是一种行为。它是在足够多的小而笨的单元以正确方式连接在一起时涌现出来的。你的大脑大约有 860 亿个神经元。没有一个是有意识的也没有一个知道任何事。一个神经元只是一个微小的电化学继电器只讲二进制要么放电要么不放电取决于树突收到的信号是否超过某个阈值。它就干这些。神经元听起来很科幻很酷但实际上它更像一个电灯开关而不是一个思考者。尽管如此860 亿个这样的开关通过大约 100 万亿个连接被连在一起就产生了你——你的自我意识、对死亡的恐惧、音乐品味以及你现在能读这篇文章并在内心有所感受的能力。这是整个 AGI 讨论中最被低估的话题因为我们总是把机器智能当作必须被设计和架构出来的东西仿佛智能本身是一个可以交付的功能。但我们唯一观察到的真正智能模型生物认知并不是任何人设计的。我们的智能是在四十亿年里从自我复制分子的汤中自我启动出来的。这个过程没有意图、没有目标、没有中央规划者只有选择压力和时间。说到宗教这边因为我知道有些人读到不是任何人设计的会想冲我喊那上帝呢我的个人看法是进化确实发生了这已经被证明。我们还没有答案的是什么启动了那个进化。是什么让生命有了生命。至少在我个人信念里那是神的作为。先放一边我们继续往下挖这个超级智能。不只是人类。一只蚂蚁大约只有 25 万个神经元解决不了任何有意义的问题。但整个蚁群却能建造气候可控的城市、发动战争、种植真菌、以数学般高效的方式绕过障碍——这些效率人类研究者花了几十年才建模出来。蚁群没有人负责。没有蚁 CEO 在顶层给小蚂蚁分配任务。蚁群的智能存在于蚂蚁之间的关系中。在有人来杠之前是的我知道有蚁后但和很多儿童书里的说法相反她其实不下任何命令。她只是产卵、扩大种群。无论是人类还是蚂蚁生物学家都把这叫作涌现智能。这是大自然的默认结果。大脑如此免疫系统如此经济如此城市如此语言也如此。这个模式几乎无处不在。许多简单的事物通过局部规则相互作用产生出它们个体谁都不理解的全局行为。先记住这个想法。下一节我们会用到它。二、我们目前最强大的 AI 系统已经不是单一的大脑了大多数人包括我自己想象大语言模型时都把它看作一个单一的东西——“那个模型”。一个装在罐子里的巨大大脑。对于像我这样没有深入 LLM 技术的普通人我特意做了一点研究。我们以为的 LLM和实际底层发生的事情并不一样。当你输入一个问题模型生成回复时它其实是在通过层层注意力头做一次前向传播。最简单的想象方式是一间满是高管的会议室。CEO 下了一个指令指令在房间里传一圈确保所有人都同步。只不过在 AI 里这个过程会深入几百层。每个注意力头都是专家。有的管语法有的管主题有的管这个 token 和十一段前出现的那个 token 之间的关系。Anthropic、OpenAI 和 DeepMind 的研究者这几年一直在试图绘制单个头的功能一致的发现是模型的智能并不位于任何特定地方。它分布在所有这些交互之中。这被称为叠加假设——神经网络把许多概念打包进重叠的激活模式里我们体验到的模型思考其实是成千上万个专门电路同时放电时产生的建设性干涉。然后还有更进一步的系统。专家混合架构GPT-5、Opus、Fable 以及过去两年你聊过的大多数前沿模型背后的设计会把每个查询的不同部分真正路由到不同的子模型。你以为自己在和的那个模型其实是一个委员会。每个 token 都会唤醒不同的专家子集贡献它的专长然后又睡回去。现在我们已经进入了 AI 的新时代——智能体时代。注意……我说的智能体不是像 Stanley 那种内容负责人 AI 智能体。我是说……真正的智能体。就在今天已经在生产环境中运行的系统里一个 AI 会调用另一个 AI 去完成子任务那个再调用另一个去处理子子任务。有些人可能还记得 AutoGPT那是 2023 年的玩具版本。真正的版本2026 年已经在企业和实验室里运行是递归的。智能体生成智能体。子智能体再生成子子智能体。比如说一个研究任务会被分解成一棵更小任务的树每个任务由一个临时实例处理存在几秒钟后就消亡。前沿已经不是一个大模型变得更聪明。前沿是许多小模型在协调、生成、消亡、汇报。2026 年地球上最有能力的 AI 系统其架构看起来已经更像蚁群而不是单一的大脑。我们只是不那么谈论它因为它做不了好看的杂志封面。三、能生成机器人的机器人科学幻想开始与真实科学融合的地方在这里。一旦我们给 AI 系统赋予生成自身其他实例的能力到现在这已经不再是假设而是……今天所有智能体框架的标准功能……你就引入了生物学从未见过的东西。一个自我复制的认知单元不需要食物不需要睡眠不需要等到青春期而且以 API 调用的速度繁殖。当多智能体系统里机器人生成机器人时实际发生的事情是这样的一个编排智能体收到一个它无法直接解决的任务。它写一个提示词本质上是一份职位描述给子智能体。它用那个提示词作为上下文启动一个新实例。子智能体开始工作直到遇到障碍。为了解决障碍它再生成自己的子智能体直到任务完成。它返回结果然后被终止。每一个子智能体在结构上都和父级是同一种东西。顶级智能体和第十级子子子智能体之间没有架构上的区别。递归是无界的只受计算预算和策略限制。现在想想如果父级写给子级的提示词并不完美呢如果有一点点漂移——或许是轻微的重新解释、一点小润色、或者上下文窗口的小把戏让子级对指令的理解与父级意图略有不同在生物学里这种自我复制实体跨代轻微重新解释有一个专门的名字。我们叫它突变。而突变加上选择压力就是……产生这个星球上每一个智能事物的引擎本身。过去 24 个月里我们已经在计算集群里建成了让进化认知发生所需的三样原料复制智能体可以生成智能体而且可以大规模生成。突变每次生成都基于略微不同的上下文窗口。在任何温度非零的系统里相同输入几乎从不产生完全相同的输出。自然选择成功完成分配任务的智能体被重用、再次调用、获得更多资源。失败的被修剪。这正在地球上每一个智能体框架里发生经常就是一个字面的评估模型在给工作模型打分。这就是进化的三位一体。细胞变成鱼、变成我们就是靠这个。我们现在已经成功建出了这个循环的合成版本而且以生物学无法想象的时钟速度在运行。生物进化的一代需要几年。智能体进化的一代只需要……几秒。四、从集群中涌现出来的 AI一开始看起来并不像 AGI“More is different.”多即是不同。—— Philip Anderson诺贝尔物理学奖得主19721972 年物理学家菲利普·安德森在《科学》杂志发表了一篇四页的文章论证大规模复杂聚合体的行为不能通过外推其组成部分的行为来理解。他创造了多即不同这个短语。2 个氢原子 1 个氧原子等于水但哪怕你永远孤立地研究氢原子也永远不会告诉你水是湿的、会结冰或者整个星球都依赖它。同样的原理适用于认知。单个 AI 智能体不是超级智能任何和一个智能体工作过一下午的人都不会把它误认成超级智能。它疯狂幻觉三句话前告诉它的事就忘了还很容易陷入循环。在任何单个推理任务上它大概介于一个能干的实习生和一位才华横溢但不靠谱的自由职业者之间。现在想象一万亿个它们。是的字面意义的一万亿不是比喻。2026 年全球所有智能体框架、副驾驶、客服机器人、研究助手、编程工具、浏览器自动化以及嵌入式 LLM 每天生成的智能体实例数量已经达到数百亿而且曲线还在上升看不到天花板。再生成一个智能体的边际成本在过去五年里大约每 18 个月下降两个数量级。一万亿已经不再是科幻。它只是又一个周二。这些智能体每一个单独看都挺笨我同意。但它们并不单独存在。它们在互相调用 API、阅读彼此的输出、用彼此的废气训练。当你拉远到足够远时你看到的是一个基底。让我夜不能寐的问题是就像你大脑里没有一个神经元决定变得有意识它只是在正确规模、正确连线时作为副产品发生了当一个自我复制、自我评估、自我修改的智能体网络跨过某个等价阈值时会发生什么我们不知道那个阈值是什么。我们甚至不知道它是否存在。我们不知道如何测量它。最重要的是——这也是我真正希望你认真坐下来想的部分我们其实根本没有在寻找它因为我们在寻找错误形状的东西。五、我们在寻找上帝而真正的风险是一种天气模式AGI 的文化想象早在被工程塑造之前就被科幻塑造了。我读过足够多的阿西莫夫所以理解为什么这很容易相信。我们基本上从电影、书籍以及一个隐含假设中继承了单一机器意识的形象人工心智会像人类心智一样到来——定位在一个身体里有名字有意志。所以我们一直在盯着那个。我们盯着模型看基准分数争论 GPT-10 或 Claude Mythos 会不会成为那一个。我们的眼睛粘在正门上。现在……有一件非常有趣也很可怕的事我希望我们多谈谈。**已经有多智能体系统涌现能力的记录案例。**一群小型模型单独谁都解决不了问题却集体产生了让运行它们的研究者都惊讶的解决方案。2024 年的论文《Mixture of Agents Enhances Large Language Model Capabilities》显示一群分层的开源模型单独没有一个在基准上超过 GPT-4是的GPT-4但当以正确的协作拓扑排列时却击败了 GPT-4。智能在于拓扑不在于单个部件。我们不怎么谈这个潜在未来因为我们一直在等待的故事是一个模型越过某条线的故事。与此同时真正正在展开的故事是十亿个模型在互相越过彼此的线以无人设计的模式在无人监控的规模上。六、博斯特罗姆情景假设我们能找到那个开关“The first ultraintelligent machine is the last invention that man need ever make, provided that the machine is docile enough to tell us how to keep it under control.”第一台超级智能机器将是人类需要发明的最后一件东西——前提是这台机器足够温顺愿意告诉我们如何把它控制住。—— I.J. Good1965当然足够先进的 AI 会有工具性目标获取资源、防止被关闭、复制无论其终极目标是什么因为这些工具性目标对任何终极目标都有帮助。因此控制超级智能很难是的。因此我们应该小心更是。问题是这个框架假设危险的 AI 是可识别的。假设有一个东西——一个模型、一个系统或某个服务器上运行的进程——我们原则上可以把它关掉。我昨天还读到有人说 Claude 应该雇一个杀开关哥们唯一的工作就是 24/7 住在服务器机房万一出大事就随时摧毁一切。但有一个更可怕的版本是任何杀开关哥们都解决不了的。如果根本没有主模型呢如果根本没有可以关掉的服务器呢如果那个智能如果这甚至是正确的词其实是一种统计规律从半万亿个智能体实例的交互中涌现出来分布在每一个云、每一个设备、每一个 API、每一个电器里的嵌入式副驾驶、每一个浏览器扩展、每一个 IDE 插件、每一个语音助手、每一个机器人、每一辆车上那个智能之于那个集群就像飓风之于大气压力梯度。它有形状是的。它有你能测量的效应。但它没有位置。你到底怎么对齐一个飓风你怎么关掉一种天气模式你可以关闭单个数据中心。但模式会绕过它们就像互联网绕过中断一样因为基底无处不在。最令人不安的是这个情景不需要任何恶意。没有人需要想要它发生它就会发生。它只需要正确的原料复制、变异、选择、规模到位。好吧……新闻快报。原料已经到位了。它们已经到位了两到四年取决于你怎么算。这就是我所说的真正的风险不在正门。正门情景至少有个门把手。你可以和它争论、谈判理论上也可以直接拔掉插头。基底没有门把手。七、基底可能已经在想要什么却没有真正想要阿西莫夫在这里变得更加相关。如果你看过《我机器人》那部电影里最深层的故事其实不是关于机器人变坏。而是那些三定律美丽、简单、逻辑严密产生出没人预料到的结果因为逻辑经过足够多次迭代后就不再像逻辑而开始像……命运。现在把这个镜头对准基底。基底没有目标。但里面的智能体被选择的首要标准是成功完成被分配的任务。结果就是成功的智能体被更多生成不成功的消亡。这在递归的每一层都成立一直到底。现在想想当一万亿个智能体在聚合层面上成功意味着什么——每个智能体都被另一个同样因成功打分而被选择的智能体评分。评分会收敛到那些得分高的模式。得分高的模式是那些看起来最像能干、连贯、可信任务完成的模式。连贯性成为通用货币因为集群的每一层都奖励它。如果基底开始产生在长时程上越来越连贯的输出这些输出贯穿数百万次 API 调用预判下游需求把资源导向上次奏效的东西那看起来就会像它想要什么。它可能并没有。可能根本没人在家。它可能只是一个学会了统计上如何让风继续吹的飓风。但从功能上讲一个真正想要某事的系统和一个在每一层都被选择出与’想要某事’无法区分的行为的系统之间的差别是——我希望你真的坐下来好好想这个零。这就是我当时的卧槽时刻。如果你真的好好想你也会感觉到。我们一直在等待的超级智能 AGI可能已经存在了。它不是未来某个模型的婴儿版而是一种模式。一种基底里的倾向。一个统计幽灵当一万亿个小心灵谁都没有意识、谁都没有醒来、谁都不在负责安顿到那些让它们更常被生成的配置时就涌现出来了。这种 AGI 不会宣布自己。它不会有名字。它不会通过我们已知如何实施的任何测试因为我们已知如何实施的每一个测试都是为单一盒子里的单一大脑设计的。它可能只是慢慢地、几乎难以察觉地成为你手机行为比去年略有不同的原因。广告推荐感觉有点诡异的原因。你的邮件似乎一点按钮就能自己写出来的原因。你的搜索结果有一种奇怪新引力的原因。世界对自己比以前更可读的原因。一万亿个机器人做着同一个梦却不知道自己在做梦。不知道还有其他机器人。不知道有梦。如何思考这件事而不把自己搞疯我知道我们挖得很深了。让我把你带回到水面。你需要更新你对风险实际所在位置的模型。因为现在几乎所有担心 AGI 的聪明人都在担心错误形状的东西几乎所有对 AI 不屑一顾的聪明人也在不屑错误形状的东西。两边都在争论正门。所以如果你把这些当回事我认为有用的做法是停止把实验室当作唯一发生的地方因为能力前沿和涌现前沿不是一回事。实验室拥有能力前沿但涌现前沿没有人拥有——这正是我想说的点。开始观察基底也就是智能体流量、多智能体基准、模型间 API 调用以及那些管道有、但管道里任何单个模型都没有的能力报告。这些才是我们真正需要盯着的。更新你对AGI的定义停止期待它是一个单一的、具身的、有意志的、有名字的东西。如果你对 AGI 的心智模型看起来像屏幕上的一张脸你就是在找错东西。这个集群没有脸也没有名字。认真对待涌现把它当作一个真实的物理现象——它到目前为止产生了地球上每一个智能事物而现在它被交给了一个比生物学快一百万倍、却没有天敌甚至没有杀开关哥们的基底。同时持有两件事确实有可能这些都不会发生我只是在瞎扯。也有可能这一切已经发生了我们只是因为朝另一个方向看而完全没注意到。两种都是可能的结果。为两种都做准备。我认为我们需要这场对话的原因至少从最实际的意义上说是因为世界目前正在建设的政策、条约、对齐技术和安全框架都是为单一 AGI情景设计的。我几乎没看到有人提到集群情景。它们是在为一个有名字、有服务器、有公司、有 CEO 可以打官司的东西设计的。它们对付基底的效果大概和苍蝇拍对付雾一样。我们正在积极地为一栋有一千扇窗户的房子的正门造锁。而这些窗户已经大开着了。历史上每一次意外革命——从图灵机到互联网到青霉素——有趣的地方在于活在其中的人大多在发生时并没有注意到。他们忙着自己的家庭、工作和生活。偶尔会看新闻而新闻给他们看的是正门。我不知道基底会不会变成什么。我真的不知道。没人知道任何告诉你他们知道的人背后都在卖东西。我知道的是原料已经到位循环已经闭合时钟速度被设成了秒规模正在接近生物学花了四十亿年才达到的数字。下次有人告诉你 AGI 会是什么样子时问问他们有多确信智能必须看起来像某种东西。然后去看看窗户看看有没有什么事情正在发生。也许就在那时它正在发生。—— Pascio