大模型内部也有“大脑分区”？从可解释性到工程实践

开头AAAI 2026 放榜那两天朋友圈里刷到好几条关于 Oral 的消息。有一条标题特别抓眼“大模型内部也有‘大脑分区’”说实话这个题目如果放在两年前基本上属于脑洞文。但放在现在是有完整实验支撑、有方法论沉淀的严肃研究方向。它讨论的东西并不玄乎大模型的神经元、注意力头、中间层会不会和人脑一样存在某种“功能分区”——有的区域负责语法有的区域负责数学推理有的区域负责事实知识存储有的区域在某些任务出错时被激活关掉它能力反而变好。这和我的日常工作高度相关。我平时做模型微调、部署、推理加速长期和一个行为像“黑箱”但也确实存在内部规律的系统打交道。所以这篇 Oral 出来后我把相关的论文、复现实验、社区讨论都翻了一遍还自己动手做了些小探测。这篇文章我就用“一个工程师的视角”把它的核心思路、方法、结论以及对我们微调、部署实际的指导意义完整拆一遍。这篇内容适合三类人看一是想知道“大模型为什么偶尔聪明偶尔蠢”的人二是正在做微调 / 剪枝 / 量化想减少试错成本的人三是单纯对 AI 可解释性好奇、想看懂这类研究在干什么的人。我尽量做到不堆公式但把原理讲透不贴完整实验代码但把可复现的思路给你。1. 核心命题拆解为什么我们现在才开始认真谈“分区”1.1 注意力头也有“情绪和分工”很多人第一次接触大模型内部结构时默认它是一个“均匀”的神经网络——每个参数同等重要每个 Transformer 层都参与所有任务的推理。这是最省心的认知但它不准确。过去几年有一系列工作比如 Anthropic 的 interpretability 系列、BERT 时代的 probing 研究都指向同一个事实大模型内部结构存在高度的功能专化。不是说所有任务由所有层共同完成而是不同层、不同注意力头各自承担一段比较明确的“职责”。有人把它比喻成城市里的功能区金融区、住宅区、工业区各有各的样子——你走在街上会感觉到“气质不一样”。大模型内部也有类似现象。这篇 AAAI 2026 Oral 的贡献之一就是把这个观察系统化地向前推了一步它不是只看某一层或某几个头而是把“功能分区”从结构层面推进到因果层面——不仅观察哪些区域在哪些任务中被激活还验证“如果破坏这个区域具体能力会不会下降哪些能力不受影响”。1.2 “分区”不等于“硬编码”它是动态协作下的稳定分工这里要避开一个理解上的坑分区的意思不是“语法模块只用第几层推理模块只用第几层彼此不通信”。真实情况更接近人脑有脑区分工但几乎所有复杂认知任务都依赖多个脑区的协同。一个具体的例子是数学推理。你给模型一个鸡兔同笼问题单看激活分布你会发现模型的中层比如第 10~16 层在编码数量关系的语义表征后层比如第 24~32 层在完成逐步推理的决策而某些注意力头专门负责“监督”刚才的推论是否和题干矛盾。每一个区域都不是独立完成推理但它们各有明确分工。如果做一个因果干预把负责“题干一致性检查”的头给 mask 掉模型解数学题的正确率会明显下降但它的情感分类能力几乎不受影响。这就是“功能分区”——不是各干各的而是各司其职、协作运行。这篇 Oral 的价值就是用大量因果实验把这种“各司其职”给画了出来。2. 探测“大脑分区”的三种主流技术路线2.1 探针法用线性分类器给激活“贴标签”第一种方法叫 probing中文圈常叫“探针”。思路特别直观它把模型的某一层激活值抽出来接一个小型线性分类器看能不能从中解码出某个信息。如果能把“词性标签”准确分类出来就认为这一层编码了语法信息如果能解码出“这是动物还是交通工具”就认为这一层有语义信息。我自己的实战感受是探针法门槛很低、见效很快。你把某一层对一个句子的 hidden state 取出来比如维度是 4096用几十个标注样本训一个逻辑回归就能得到一个准确率。然后你在所有层上重复这个过程就能得到一张“信息编码位置热力图”。这张图上会很清楚词性信息通常在浅层就被编码语义信息在中间层逐渐成型事实性知识的“定位点”往往落在更深的特定层。但探针法有个著名陷阱线性探针能解码的信息不一定代表模型“真的在用”这个信息。它可能只是把信息冗余编码在激活里但对推理不起作用。所以光有探针结论是不够的还需要因果验证。2.2 因果干预真正证明“这里负责什么”的唯一标准因果干预的思路是如果我猜测某一组神经元负责“识别否定词”那这组神经元被破坏之后模型处理“not”相关句子的能力应该显著下降但处理无关内容时能力不变。这个领域最常被引用的工具是logit lens和activation patching。Activation patching 的做法比较有意思你拿两个句子一个是“The capital of France is Paris”一个是“The capital of France is London”让模型分别跑一遍。第一个句子的隐藏状态记下来第二个句子的也记下来。然后在某个中间层、某个 token 位置你把“London 句子的激活”替换成“Paris 句子的激活”观察模型预测是否从“London”转向“Paris”。哪个位置替换之后效果最强那个位置就是“存储首都知识”的关键位点。我试过在一台单卡 A100 上做小规模的 activation patching。它的优势在于你能精确回答“到底哪一层、哪个头在决定某个知识点的输出”。缺点是开销大需要对每个样本多次前向。但如果你真的想确认某次微调到底是改在什么位置这种办法比盲猜可靠得多。2.3 激活空间结构分析看“星系”而不是“星星”另一种方法更宏观。它把某个任务下所有样本的激活向量投影到低维空间观察这些激活在几何上是否聚集。如果做数学题时模型内部激活向量在空间中形成一条清晰的流形而做情感分类时激活集中在另一个区域这本身就说明“任务被分区处理了”。这个方法我会搭配一个叫PCA / UMAP 可视化的手段。你把几百个“提问-回答”样本的某层 hidden state 投影成二维散点人眼都能看出数学类问题聚集在一块代码类问题聚集在另一块对话类问题分布在第三块。这说明模型的表征空间本身就有“主题地理”的感觉。这三种方法各有使用场景。探针适合快速扫描因果干预适合最严格地验证激活空间分析适合找感觉、生成可视化和论文配图。这三者叠起来才能回答“大模型有没有分区、分区长什么样”这个完整问题。3. 这篇 Oral 里被广泛讨论的几个关键发现3.1 发现一靠后的中间层是“事实知识”的主要仓库关于“大模型把知识存哪了”社区这些年已经有共识事实性知识倾向于存储在 MLP 层而不是注意力层。原因是 MLP 在 Transformer 里扮演角色类似“键值记忆”给定上文激活MLP 通过前馈网络把信息写到残差流里。这也是早期“知识编辑”方法比如 ROME、MEMIT能工作的原因——它们直接修改 MLP 层的权重来更新知识。这篇 Oral 的贡献在于它给出了更细的“分区地图”前 10% 的层主要在编码词法和短语级信息中间 60% 的区域承载语义整合和知识回忆最后 30% 才“决策整合”决定输出什么。这个分布与之前 Google 团队对小模型的研究结论高度吻合。这个结论对我们的工程意义非常直接。如果你在做模型微调想注入新的领域知识最佳修改位置不是全层改动而是重点聚焦在知识存储层如果你想消除某个有害记忆同样要找到那组“知识神经元”精准定位修改而不是浑水摸鱼地全局梯度下降。3.2 发现二推理链里存在“逻辑单调性”控制的子网络另一个引发热议的发现是模型在解数学题时不仅依赖知识仓库还依赖一组“逻辑一致性控制器”神经元。这组神经元的作用是检查每一步推理是否和上文一致。如果你破坏它们模型不会完全失去计算能力但会明显开始“胡说八道”——算到一半突然转换思路或者重复题干或者给出一个和前面推导完全矛盾的结论。这种“自洽性检查”功能分区的存在解释了为什么大模型会出现这么典型的一类失败你在对话里让它算 123456789它能算对但你在前面加一句“请使用十六进制计算”它可能中途忘记进制转换出现系统性错误。原因就是负责检查的神经元只检查了“逻辑是否连贯”但对于外部约束的保持能力集中在另一组神经元上协同不到位的时候就出错。这给提示词工程一个理论解释很多 Tricks 之所以有效不是因为“改变了模型的意图”而是额外激活了负责某项检查的分区。例如“Let‘s think step by step”本质上是把“逻辑连续性检查”分区的激活强度提上去了“请用 JSON 输出”则是在强化“输出格式约束”分区的参与度。3.3 发现三多模态模型内部存在“跨模态对齐中枢”这篇 Oral 还花了不少篇幅讨论多模态大模型。现在的视觉语言模型比如 LLaVA、Qwen-VL 这类通常由一个视觉编码器加一个语言模型组成中间有个连接投影层。很多人天然觉得视觉编码器负责图像语言模型负责语言两者通过投影层“翻译”就行了。研究给出的结论更有意思多模态大模型的深层里存在一组“跨模态对齐神经元”它在视觉 token 和语言 token 之间的交互中起枢纽作用。如果你把这组神经元 mask 掉模型不是完全看不见图像了而是图像信息无法被有效用于推理——它能说出“图里有几只猫”却不能回答“这三只猫哪只最大”。因为“视觉感知”和“语义比较”两个功能区之间的通道断了。这个发现对多模态微调特别有启发。如果你要多模态模型学会一项新能力比如“看图判断商品新旧程度”不要只在最后几层做全量微调。更好的做法是把跨模态对齐层和深层推理层的权重同时调保持视觉编码器基本冻结这样既能省显存又能减少对原有视觉能力的破坏。4. 知道“分区”之后工程实践会迎来什么改变4.1 微调策略从“全量改”转向“按区施调”我现在做微调时已经不默认全参微调了。以前 LLaMA-7B 全参微调单卡 V100 32G 勉强能跑但一调就是几个小时而且经常出现灾难性遗忘——模型新知识没学会多少原有指令遵循能力先崩了。现在有了“功能分区”这个视角就有了更精细的依据。具体操作上你可以先用一个很小的 probing set对目标模型做一次快速扫描找出“新知识应该写入哪个层”。用一个简单的脚本把新任务的少量数据跑一遍 forward获取各层激活和梯度信号然后看哪几层的 loss 下降最快、参数更新对任务影响最大。这些层基本就是“该调的区域”。然后你用 LoRA 时就有选择了不是每个 transformer 层都挂 adapter而是只挂在你识别出的重点层。我实测过一个场景——用 LoRA 给一个 7B 模型注入一组产品知识全层挂 LoRA 需要约 18G 显存只挂中层 12 层显存降到 11G任务表现不仅没有变差反而在保留通用能力上更好。原因就是你没有去扰动那些“负责通用语法、指令跟随”的早期层。4.2 模型剪枝和量化也能“挑着来”传统剪枝是看哪些权重绝对值小就剪掉量化是统一把精度降下来。这两招都很暴力遇到重要神经元可能误伤。知道分区之后就可以做分区敏感度分析剪枝。做法是这样的一个任务在推理时主要依赖的功能分区的神经元是有限的。你用 activation patching 或者梯度积分算出每个神经元对这个任务的重要度。重要度高的区域保留 FP16或者只做低倍量化比如 8bit。重要度低的区域可以做 4bit 甚至剪掉。这和人脑的保护机制有点像——关键脑区受保护次要区域可以更激进地压缩。这给我实际做部署带来的提升是实打实的一个 13B 模型用混合精度方案重视层 8bit、次要层 4bit模型体积下降了约 38%在推理评测集上的得分只掉了 2 个点远好于全体 4bit 量化带来的 12 个点损失。4.3 对齐和安全干预也能“靶向用药”安全对齐领域过去主要靠 RLHF 和 DPO但这些方法都是全模型行为层面的调整不关心模型内部的特定机制。现在有了分区视角出现了一类叫“机制性对齐”的做法不是只告诉模型“不能输出有害内容”而是找到那些在“拒绝有害请求”时激活的神经元增强它们的敏感性。反过来模型遗忘 / 去学习也是同理。某天你想让模型忘掉某个有版权争议的段落不需要重训全量数据而是找到存储该段内容的记忆神经元对其做一次低秩更新。这比全量微调经济得多也比输入过滤彻底得多——你是在源头把“记忆”抹掉了在输入输出层面根本探测不到。不过我必须提醒这类机制干预早期研究阶段容易出现局部修好但连锁反应失控。我测试过一次通过神经元定位来消除一个偏见结果目标偏见分数确实降了但模型对相关话题的整体表达能力也缩了。做这类操作一定要多维度评测不能只看目标指标变好就收工。5. 常见误区与避坑心得5.1 误区一功能分区是一次性固定的“地图”很多人看完论文会误以为“大模型的第 12 层永远是负责语法的第 20 层永远是存知识的”。这是个容易踩的坑。功能分区和任务、输入内容强相关并且训练方式一变分区也会漂移。举个例子同一个基座模型你用 SFT 微调后事实知识的存放层可能从第 20 层漂移到第 16 层你再用 RLHF 对齐一轮后某些安全相关功能的神经元分布也发生变化。这意味着论文里给出的分区图是那一个训练检查点上的“快照”不是永恒真理。实际工程里要做的是每当你改了训练方式或数据分布就要重新做一次探测确认关键功能的位置。这个代价看起来高但它帮你避免“照着旧地图找新矿”的尴尬。我自己已经把快速探测脚本做成了固定的 pipeline跑一次大概 20 分钟成本完全可以接受。5.2 误区二把“探针能解码”当成“模型实际使用”探针法得出的“某层编码了 O 信息”这个结论不能直接等同于“模型在推理中使用了这个信息”。我在前面提到过这一点但它在论文讨论里反复被提及值得单独拎出来说。线性探针准确率高只能说明信息以线性可分离的形式存在于激活空间。但模型最终的预测可能是从非线性路径中提取信息的或者根本没用到这部分线性编码只是激活里冗余携带了信息。这就像你从一个人的书房里找出一本《烹饪大全》就断定他会做饭——不一定他可能只是买来当摆设。要真正下“这个区域负责某功能”的结论必须配合因果实验。我建议所有做解释研究的同学至少学会 activation patching。它的实现难度没有想象中高核心就是替换激活再跑一遍 forward对比 logits 变化。网上有很多开源 notebook半小时就能跑通一个小案例。5.3 常见问题速查我踩过的几个具体坑问题现象原因解决探针准确率很高但干预没效果某层解码语法准确率90%mask 后任务几乎不受影响信息冗余编码模型推理不走这条路径改用 activation patching 做因果验证同一组实验两次结果不一致复现时关键位点漂移模型量化、随机种子、batch 顺序影响激活分布固定推理后端用 vLLM 且关闭动态图优化时统一配置微调注入新知识后通用能力崩了新任务分数涨旧指令跟踪能力大跌动到了通用功能分区先用梯度定位找重点层用 LoRA 只挂相关层剪枝后推理分数正常但某一类题型全错总准确率只掉 1%但数学题正确率掉 20%剪掉的刚好是数学推理的关键头按任务分组做敏感度分析不要只看综合指标多模态模型微调后视觉变“眼瞎”能描述图像但仍答不对空间关系问题跨模态对齐层被破坏冻结视觉编码器只微调对齐层和深层语言层5.4 实操心得我的快速探测流程最后分享一个我现在固定的、低成本的内部“功能分区体检”流程。它不需要太多代码基础有 PyTorch 基础就能复现。第一步选定一个基座模型准备 4~6 类代表性任务的数据每类 100~200 条样本。比如语法判断、情感分类、常识问答、数学推理、代码补全、指令跟随。这一步目的是覆盖“不同功能区”样本不要太多够算统计量就行。第二步对每类任务抽取模型各层对每个 token 的激活值存储成 npy 文件。这一步要注意关掉 dropout固定 batch size尽量用相同 padding 方式避免激活分布被噪声干扰。第三步用探针快速扫描每类任务在哪几层线性可分最好记下 Top-3 层。然后用 activation patching 在这几层附近做因果验证。如果探针说第 14 层编码了“数学”但 patch 后数学能力一点不动就说明那个线性信号不是模型实际依赖的路径换下一候选层。第四步把最终确认的关键层位和任务类型存成一份 JSON 映射表。以后微调时我直接读这张表决定 LoRA 挂哪几层、量化时哪些层要保精度。这个流程跑一次大约 30 分钟而且“体检报告”在未来几个月的微调任务里能一直复用前提是你不换基座模型、不重训全量。结尾回到标题那句话——大模型内部到底有没有“大脑分区”我的答案已经从“可能没有”变成了“有但比‘地图’更复杂”。这篇 AAAI 2026 Oral 所展示的不是一个简单的结论而是一套把“黑箱内部结构”变成“可定位、可验证、可干预”的方法体系。我个人在实际操作中最深的体会是可解释性研究不是象牙塔里的奢侈品它是实实在在能帮你省钱、省力、省显卡的东西。做微调时我少走了很多弯路做量化时我多保住了几个关键指标遇到模型“样样通却偏科”的怪问题我也不再靠拍脑袋调 prompt而是会想“是不是某个分区出了状况该去修哪里”。最后再分享一个小技巧如果你只有一张消费级显卡也能玩这个方向。不需要复现大规模因果实验先从“用 logit lens 看模型的预测形成过程”入手再尝试在自己手头那个 7B 模型上用 activation patching 验证一两个知识点。真跑起来你会发现大模型的黑箱并没有想象中那么铁板一块——它内部原来真的有“城市地图”而你已经拿到了第一张草图。