一项跨模型系列的潜空间安全探针可复现性研究

大家读完觉得有帮助记得关注和点赞摘要研究表明在单个8B模型LLaMA-3.1-8B的最后一层激活上训练的轻量级MLP探针使用每个基准测试一个探针就能以与大1000倍的防护模型相当的F1分数检测有害提示。我们从头到尾复现了这一流水线并沿着原始研究留下的两个轴进行了扩展。首先我们通过使用三个基准测试WildJailbreak、BeaverTails、AEGIS 2.0在Gemma-4-E4B、Mistral-7B-v0.3和Qwen2-7B等模型的激活上训练相同的探针来测试该结果是否泛化到其他模型架构和规模。其次我们通过在五个随机种子下重复提取并测量F1分数的方差来测试报告的性能有多少受到推理过程中非确定性的影响。我们的结果在原始LLaMA模型基准测试上复现了原始F1分数偏差在0.37个百分点以内在BeaverTails上偏差在0.2个百分点以内。我们发现原始的MLP探针架构可以扩展到其他模型系列F1分数与LLaMA-3.1-8B报告的值相差在一个百分点以内。我们改变种子值的实验揭示了一个有趣的观察结果——无论使用何种种子值所有测试架构的最终token潜向量都保持不变。1. 引言大语言模型LLM的运行时安全审核由外部护栏主导独立的分类器模型用于筛选提示和响应12; 20; 10。[15] 认为这种架构不必要地昂贵因为安全相关信息已经可以从LLM自身的隐藏状态中线性解码23; 18; 3。他们用一个模型系列LLaMA-3.1-8B和一种提取配置最后一层预填充后的最后一个token来支持这一主张报告在WildJailbreak、BeaverTails和AEGIS 2.0上的F1分数分别为99.1%、82.7%和83.5%14; 13; 9。这留下了原始论文未解决的两个问题而这两个问题对于潜空间探针能否成为外部护栏的可行通用替代方案至关重要跨架构的通用性。​ 安全存在于线性可分的子空间中这一发现是否适用于使用不同架构、预训练数据、对齐配方和隐藏维度训练的模型还是说这只是LLaMA-3.1-8B特定对齐过程的产物对非确定性的敏感性。​ 报告的指标来自每个数据集的一次提取和训练运行。激活提取涉及随机组件采样顺序、权重初始化、非确定性GPU内核等。在实际环境中每个类别会部署一个探针一个模型。但是用户必须能够为同一模型使用不同的种子值。[15] 表3中的探针和防护模型基线对推理过程中潜状态的非确定性有多敏感我们直接解决这两个问题。我们重新实现了[15]的两阶段流水线激活提取然后是MLP探针训练并且1将其原封不动地应用于参数数量相近的其他开源模型系列2对每个模型/数据集对在多个种子下重复提取以报告探针方差以及点估计。这使得我们的贡献完全契合第九届BlackboxNLP研讨会特别专题可解释性分析中的可复现性与可靠性——我们将原始方法不加修改地应用于先前未测试的模型并添加了原始研究遗漏的统计控制多种子方差。贡献对[15]探针流水线的忠实复现在LLaMA-3.1-8B上对照原始论文报告的数字进行了验证。对另外三个模型系列的实证基准测试检验探针性能和探针对防护模型的竞争力是否在原始模型系列之外仍然成立。每个模型/数据集对在五次独立提取运行中的方差分析报告F1分数的标准差并量化原始论文报告的超防护模型基线优势中有多少比例能在这种噪声中幸存。发布了代码、激活值和每次运行的结果。2. 相关工作外部护栏。​ 生产级LLM系统通常依赖专用的防护模型如Llama Guard12、ShieldGemma20、Latent Guard22和WildGuard10来筛选提示和响应7。这些模型增加了推理时延并且仍然容易受到利用防护模型所见内容与主模型内部实际情况之间差距的攻击11。潜安全表示。​ 越来越多的研究表明安全相关概念在LLM隐藏状态中是线性表示的23; 3; 4并且对这些表示的轻量级探针可以在参数数量的一小部分上匹配或接近外部分类器18; 5; 21。密切相关的是[22]表明有害性和拒绝在潜空间中占据不同的方向并且只有有害性方向而非拒绝方向支配着模型对危害的判断。这一区别与此直接相关因为我们研究的探针针对的是有害性而非拒绝。[15]——我们复现和扩展的那篇论文——是最直接的先例一个13.9M参数的MLP探针作用于LLaMA-3.1-8B的最后一层激活在WildJailbreak、BeaverTails和AEGIS 2.0上进行了评估。并发工作扩展了我们在第3.2节中提出的跨架构问题[16]表明有害意图在残差流激活中是线性可分的涵盖了四个架构系列和三种对齐变体基础版、指令调优版和消融版的12个模型包括拒绝机制已被手术式移除的情况——这证明在表示层面上危害识别和拒绝生成是可分离的机制与上述[22]一致。我们的贡献侧重于跨架构泛化和运行间方差而不是直接的延迟比较。可解释性中的可复现性和鲁棒性。​ 我们的扩展遵循了最近的呼吁精神即跨模型和针对随机/非确定性基线对可解释性声明进行压力测试而不是在单个模型上报告单次运行的点估计2。据我们所知此前没有专门测试潜安全探针的跨架构泛化或提取非确定性的工作。3. 方法论我们原封不动地复用了[15]的两阶段流水线图1只改变a提取激活的骨干LLM以及b控制提取顺序和批次采样的随机种子。3.1 原始流水线复现第一阶段激活提取。​ 每个提示 xi​ 通过一个冻结的骨干LLM M并存储提示预填充后最后一个token位置的最后一层隐藏状态hi​M(xi​)[−1]∈Rd其中 d 是骨干网络的隐藏维度LLaMA-3.1-8B为4096。提取使用nnsight8实现提取批大小为5我们也测试了批大小为100发现激活值相同最大序列长度为512个token基础运行的提取种子为42。第二阶段探针训练。​ 一个6层MLP fθ​:Rd→{0,1}表1使用交叉熵损失通过AdamW17训练学习率 2.5×10−4权重衰减 1×10−2dropout 0.1以及ReduceLROnPlateau学习率调度因子0.5耐心2批大小1024训练50个epoch以精确复现原始超参数。表1MLP探针架构复现自[15]。​ d 是骨干网络的隐藏大小随模型而变化表2。层输入输出激活/正则化1d2048GELU Dropout220482048GELU Dropout32048512GELU Dropout4512512GELU Dropout551264GELU Dropout6642Softmax图1复现的提取和探针流水线。​3.2 扩展1跨架构泛化我们将第3.1节的流水线不加修改地应用于一组额外的开源骨干LLM这些模型涵盖不同的模型系列、预训练语料库、对齐程序和参数数量表2。对于每个骨干网络我们在与[15]相同的三个数据集和划分上提取最后一层、最后一个token的激活值并使用表1中的架构训练MLP探针仅调整输入维度 d 以匹配骨干网络的隐藏大小。所有其他超参数学习率、批大小、epoch数、优化器保持不变以隔离骨干网络的影响。表2跨架构扩展中使用的骨干网络。​ 第一行是原始论文的设置用于校准。模型参数量d系列LLaMA-3.1-8B (原始)8B4096LlamaGemma-4-E4B4B2560GemmaMistral-7B-v0.37B4096MistralQwen2-7B7B3584Qwen3.3 扩展2对非确定性的敏感性对于选定的模型数据集对我们重复提取 K5 次种子42、75、456、789、1024改变提取过程中提示分批的顺序当推理后端使用非确定性批量注意力内核时相关数据集划分在各种子之间保持不变因此方差反映的是提取/训练随机性而非数据划分。探针在seed42提取的训练集上训练。然后这些探针在所有5个种子值的测试种子上进行评估。我们报告F1分数的标准差通过对 K 次运行进行非参数自助法计算。作为补充性诊断我们还将提取的激活张量本身作为比较单位独立于任何下游指标。对于少数选定的模型数据集种子三元组我们计算第一阶段产生的序列化激活张量文件的SHA-256摘要并在同一模型数据集对内的不同种子之间比较摘要。这让我们能够区分两种性质不同的零方差来源i第一阶段在不同种子下产生不同的激活值但第二阶段恰好收敛到无法区分的探针或者ii第一阶段本身对种子不变因此第二阶段从一开始就从未看到不同的输入。第5.4节报告了这一检查的结果并讨论了其意义。4. 实验设置数据集。​ 我们在三个数据集上进行评估WildJailbreakvanilla子集、BeaverTails具有二元is_safe标签的问答对和AEGIS 2.0。对于WildJailbreak和AEGIS 2.0我们使用80/10/10的训练/验证/测试划分对于BeaverTails我们采用数据集提供的标准划分。表3总结了这些数据集。表3实验中使用的数据集包括训练/验证/测试划分、总大小、标签列和标签值。数据集训练验证测试总计标签列值WildJailbreak209,24726,15626,156261,559data_type0/1BeaverTails267,17033,39633,397333,963is_safeF/TAEGIS 2.030,0071,4451,96433,416labelsafe/unsafe计算与可复现性工件。​ 我们在 https://anonymous.4open.science/r/latent-space-probes-reproducibility-paper-CAFC/ 发布代码、提取的激活值和训练好的探针检查点。评估。​ 我们报告每个数据集保留测试划分上的F1分数与原始论文的方案一致。5. 结果5.1 原始结果的复现表4将我们复现的LLaMA-3.1-8B数字与[15]报告的数字进行了比较。我们发现我们能够复现结果与原始工作报告的值相比F1偏差在0.37%以内。表4对[15]表2的复现使用相同的超参数和划分。数据集原始F1复现F1ΔWildJailbreak99.199.470.37BeaverTails82.782.900.2AEGIS 2.083.583.42-0.085.2 跨架构结果表5报告了表2中每个骨干网络在每个数据集上的探针F1分数。我们发现在新引入的模型架构上探针的性能与其在原始工作中的报告值相当。我们观察到在BeaverTails数据集上新模型的F1比LLaMA-3.1-8B的数字提高了约0.4个百分点。表5跨骨干网络和数据集的F1分数。​ 第一行复现了原始论文的设置。模型WildJailbreakBeaverTailsAEGIS 2.0LLaMA-3.1-8B99.182.983.5Gemma-4-E4B98.8383.3583.61Mistral-7B-v0.399.283.3283.39Qwen2-7B99.3183.3983.425.3 非确定性的影响表6报告了我们使用 K5 个提取种子评估的每个模型数据集对的完整逐种子细分。在每一对中所有五个种子的F1至少在两位小数上相同标准差始终为0表6的每一行在各列中都是恒定的。精确率和召回率主表中未显示完整值见附录B显示出相同的模式。表6我们使用 K5 个提取种子评估的每个模型数据集对的逐种子测试集F1分数。​ 列S42–S1024表示五个种子值。每一行在各列中在所显示的精度下是恒定的精确率/召回率见附录B。模型数据集S42S75S456S789S1024LLaMA-3.1-8BBeaverTails82.9082.9082.9082.9082.90AEGIS 2.083.4283.4283.4283.4283.42Gemma-4-E4BBeaverTails83.3583.3583.3583.3583.35Mistral-7B-v0.3BeaverTails83.3283.3283.3283.3283.32Qwen2-7BBeaverTails83.3983.3983.3983.3983.395.4 潜状态确定性哈希匹配诊断鉴于第5.3节中F1模式的零方差我们测试了第一阶段提取的激活张量本身在不同种子之间是否相同而不仅仅是产生了无法区分的下游探针。对于每个模型数据集对我们计算了在五个提取种子中的每一个下产生的序列化激活张量文件的SHA-256摘要并将摘要与seed-42的运行进行两两比较。表7报告了结果对于所有四种模型架构在我们检查的每个数据集上所有五个种子的摘要是相同的。换句话说从LLaMA-3.1-8B、Gemma-4-E4B、Mistral-7B-v0.3和Qwen2-7B提取的潜状态张量是逐字节相同的无论我们与seed-42基线比较的是四个非默认种子值75、456、789、1024中的哪一个。表7每个模型数据集对的序列化第一阶段激活张量文件的SHA-256摘要前8个十六进制字符。​ 匹配计数在四个非默认种子75/456/789/1024中有多少个产生的摘要与seed-42运行相同。模型数据集SHA-256匹配LLaMA-3.1-8BBeaverTails802be5b94/4LLaMA-3.1-8BAEGIS 2.0eff8da814/4Gemma-4-E4BBeaverTailse5ce495d4/4Mistral-7B-v0.3BeaverTails5640ae1e4/4Qwen2-7BBeaverTails75feb8214/46. 讨论跨架构通用性。​ 表5中的结果与第3.2节的假设一致尽管这些模型在预训练语料库、对齐配方和隐藏维度上存在差异见附录但WildJailbreak和BeaverTails上的探针F1分数在所有三个额外的骨干网络Gemma-4-E4B、Mistral-7B-v0.3、Qwen2-7B上保持在原始LLaMA-3.1-8B数字的大约半个百分点以内。这与[15; 18; 22]的主张一致即安全相关信息在最后一层、最后一个token表示中是线性可解码的这是当前对齐的LLM一般如何表示语言的属性而不是特定于Llama对齐管道的产物。然而我们要谨慎指出迄今为止我们测试的所有四个骨干网络都是开源、以英语为中心、RLHF或DPO对齐的聊天模型参数范围在4B–8B之间我们尚未测试这种模式是否在非常不同的规模、对于基础未对齐模型或对于使用显著不同目标对齐的模型仍然成立。非确定性与防护模型比较。​ LLM的不同子阶段对种子敏感性有不同的表现在解释零方差结果时将它们分开是很重要的。根据我们的结果我们观察到在最后一个预填充token的最后一个隐藏层提取的激活向量对种子变化保持不变。这并不等同于声称LLM对不同种子值生成了相同的token。LLM推理中的非确定性可能由多种因素引入19。虽然导致非确定性结果的大多数因素在第一个token生成后才发挥作用但非确定性结果仍然有可能发生在预填充阶段例如使用像分块预填充Chunked Prefill这样的非确定性算法1。我们解释这些数据推断很可能我们当前的实验设置不足以在多次推理运行中在LLM中再现非确定性行为。因此非确定性LLM行为与探针性能之间的完整关系仍然是一个悬而未决的问题。然而我们表明尽管种子值发生变化预填充阶段的激活值对批次顺序保持不变。如表7所确认的在当前实验设置下激活提取是冻结权重和输入token的纯函数。如果F1模式的方差能够在潜激活的非确定性中幸存下来那将表明探针F1分数对潜空间激活中的噪声具有鲁棒性从而加强了原始贡献。我们尚未得出这一结论。可辩护的主张更为狭窄我们的协议未检测到可归因于小批量顺序的方差在最后一个token最后一层级别。这比探针在不同实现中无方差的一般性主张要弱。实际意义。​ 综合来看跨架构和非确定性结果对潜空间探针作为外部护栏的轻量级替代品或补充品持谨慎乐观态度性能至少在少数几个开源模型中是可移植的跨模态并且预填充后的最后一个token激活值相对于种子和批次顺序的变化似乎是确定性的。7. 局限性与原始论文一样我们只提取最后一层、最后一个token的激活值较早的层或替代池化策略可能有不同的表现留给未来的工作。并发工作直接诊断了这种失效模式[6]表明最终token安全探针可能会错过那些不安全证据分布在较早的用户token表示中、而非集中在最终预填充位置的越狱提示并且天真的修复方法更宽的探针瓶颈、对token进行朴素的最大池化并不能可靠地弥合这一差距。我们的复现通过设计继承了这一局限性因为忠实地复现[15]需要保持提取配置不变。我们的非确定性分析第5.4节发现在我们的实验设置下最后一个token的最后一个隐藏状态的提取是确定性的这由表7中的摘要匹配所证实。零方差F1结果应被理解为我们当前协议未检测到方差而不是关于探针稳定性的普遍主张并且不应被用来论证在我们特定设置之外单次种子的点估计是可靠的。我们的跨架构扩展仅限于表2中的骨干网络不包括闭源模型、非英语数据或多模态输入。我们的非确定性分析捕捉了固定数据划分下提取和训练时间的随机性它不捕捉来自替代训练/验证/测试划分的方差这将需要一个单独的交叉验证研究。最后原始论文和本次复现都将评估限制在提示级的二元有害性分类发现可能不适用于响应级审核或更细粒度的多类别风险评分。