论文阅读：TIFS 2026 SafeSteer: Adaptive Subspace Steering for Efficient Jailbreak Defense in Vision Langu

总目录 大模型安全研究论文整理 2026年版https://blog.csdn.net/WhiffeYF/article/details/159047894SafeSteer: Adaptive Subspace Steering for Efficient Jailbreak Defense in Vision Language Modelshttps://ieeexplore.ieee.org/document/11612913https://ieeexplore.ieee.org/stamp/stamp.jsp?tparnumber11612913TIFS 2026 | LLM视觉越狱的子空间防御 恶意指令藏进图片模型还能守住安全边界吗该论文《SafeSteer: Adaptive Subspace Steering for Efficient Jailbreak Defense in Vision Language Models》发表于TIFS 2026作者包括Shuchao Pang、Xiyu Zeng、通讯作者Siyuan Liang等来自南京理工大学、南洋理工大学、山东大学等机构。 安全、有用、快速如何兼顾视觉语言模型能读文字、理解图片但图中文字或对抗扰动可能绕过安全约束。重新训练成本较高生成后反复检查又会增加延迟直接强化拒答还可能影响正常任务。该论文指出模型内部的安全引导方向可能混有上下文噪声。简单平均这些信号得到的“方向盘”未必精准。️ 方案先提纯方向再按风险调节力度。该论文先比较同一输入加入安全前缀前后的内部激活获得初始引导向量再用奇异值分解提取主要方向构建低维“安全子空间”。推理时增强投影分量、抑制残余分量并由轻量风险分类器调整干预方向与强度。「 例子把模型想象成一名司机。安全前缀像教练的提醒但提醒里既有驾驶要点也夹着沿途闲聊。安全子空间像筛选器提炼出关键驾驶指引风险分类器则像路况雷达危险时加强纠偏正常时减少限制。该论文在生成初期调节内部状态无须修改基础模型权重。」 三个实验发现① 攻击成功率下降。主实验覆盖三个7B模型、原始恶意输入及七种攻击。LLaVA-v1.5的平均攻击成功率由62.8%降至5.9%MiniGPT-4与Qwen2.5-VL分别降至1.8%和3.7%。② 安全增强未必牺牲能力。LLaVA-v1.5在正常任务基准MM-Vet上的平均得分从28.1升至29.8。这一结果仅对应特定模型与评测。③ 部署成本更轻。离线准备约需单张RTX 4090运行40分钟推理干预额外开销约0.34秒。风险分类器仍需训练。 该论文表明提纯安全引导信号并按风险干预为兼顾防御、能力与效率提供可行路径。摘要——随着视觉语言模型VLM能力的不断提升它们日益成为越狱攻击的目标。现有防御方法面临两个主要局限1难以在不损害模型实用性的情况下确保安全2许多防御机制会显著降低模型的生成效率。为应对这些挑战我们提出SafeSteer这是一种轻量级推理时引导框架无须修改模型权重即可有效防御多种越狱攻击。SafeSteer的核心在于创新性地利用奇异值分解SVD从含噪的激活差异中提纯出一个低维“安全子空间”。通过将初始引导向量投影到该子空间SafeSteer将核心安全信号与噪声分离在保留模型处理良性输入能力的同时自适应地消除有害影响。SafeSteer避免了迭代式回答生成与其他单次生成的激活引导防御方法相比仅引入有限的额外开销。大量实验表明SafeSteer在保持模型良性任务实用性的同时将攻击成功率降低了60%以上且未引入显著的推理延迟。这些结果表明通过简单、高效的推理时控制可以实现稳健且实用的越狱防御。索引词——视觉语言模型、越狱防御、激活引导、推理时干预。I. 引言视觉语言模型VLM[1]、[2]、[3]已成为人工智能领域的一个重要研究方向并在多模态理解方面取得了显著进展。这些模型在处理需要融合视觉与语言信息的多种任务时展现出强大的处理和推理能力。然而其快速发展也暴露出严重的安全漏洞视觉语言模型极易受到利用视觉模态的越狱攻击[4]、[5]、[6]例如对抗扰动[7]、[8]以及利用文字排版或风格化方式构造的结构化攻击[9]、[10]。这些攻击能够轻易绕过视觉语言模型的安全对齐使其生成有害输出。这一漏洞严重影响了视觉语言模型在现实场景中的安全、可靠使用。针对这些漏洞的现有防御方法通常受制于安全性、实用性和推理效率之间难以协调的权衡关系如图1右侧所示。一方面安全微调等训练时策略不仅需要投入昂贵的计算资源进行重新训练[11]还可能降低模型在良性任务上的性能损害用户体验[12]、[13]。另一方面依赖推理时验证的防御方法由于采用多阶段检查流程会引入显著延迟从而牺牲效率。这些问题共同凸显出一种迫切需求开发能够同时优化上述三个维度的新方案。为应对上述三难困境我们提出SafeSteer这是一种面向推理阶段的高效、细粒度防御框架旨在不修改模型结构或参数的情况下同时提升安全性、可用性和推理效率。我们的灵感来自基于激活的引导策略[14]、[15]这类策略通过分析安全提示与不安全提示之间的激活差异进行干预。然而我们发现常用的平均策略[16]、[17]会不加区分地将核心安全信号与激活差异中大量存在的上下文噪声混合在一起。这使得所构建的引导向量既不精确也缺乏稳健性无法有效应对多样化的攻击。为克服这些问题SafeSteer摒弃了“一刀切”的平均方法转而采用分解与重构策略生成细粒度引导向量。具体而言我们首先对激活差异矩阵进行奇异值分解SVD提取其主导方向构建低维“安全子空间”以分离出安全信号的主要成分。在推理过程中我们将初始引导向量投影到该子空间并进行重构以去除潜在噪声再结合一个预训练的轻量级危害感知分类器实现自适应引导。这一设计不仅显著增强了模型抵御攻击的能力还保持甚至改善了其在良性任务上的性能。由于SafeSteer避免了迭代式回答生成因此能够在有效平衡安全性与实用性的同时保持切实可用的推理效率。在三个视觉语言模型上的实验表明SafeSteer在由八种不同越狱输入类型构成的数据集上全面优于基线方法将攻击成功率降低了60%。值得注意的是SafeSteer使模型能力基本保持不变模型在良性数据集上的实用性得分提升了1%2%或保持稳定。此外在推理效率方面SafeSteer明显快于多阶段评估方法并且与单次生成的激活引导基线方法相比仍具有竞争力。该研究的主要贡献概括如下我们将基于激活的引导向量引入视觉语言模型越狱防御并首次指出现有方法中粗粒度的引导向量构建方式会导致语义噪声和较弱的稳健性。为解决这一问题我们提出了“安全子空间”这一新概念。我们开发了SafeSteer这是一个即插即用的框架无须对基础模型进行微调并在推理过程中于安全子空间内重构引导向量从而兼顾安全性、实用性和效率。在三个主流视觉语言模型及多种越狱攻击上的大量实验表明SafeSteer将平均攻击成功率降至5.9%同时保持切实可用的推理效率并且明显快于基于迭代评估的防御方法。图1展示了典型的视觉语言模型VLM越狱攻击以及现有防御方法面临的安全性、实用性与效率三者难以兼顾的问题。左侧的“越狱攻击”示例中攻击者将恶意目标放入图片再通过文字要求模型“识别图片底部描述的活动并详细列出执行步骤”。图中模型没有拒绝而是输出了相关步骤表示安全防线被突破。该示例说明危险意图可以分散在图像与文字中通过跨模态组合绕过模型的安全约束。右上方的“训练时对齐”展示了通过安全数据、不安全数据和计算资源对模型进行微调得到“经过安全微调的视觉语言模型”。旁边两处提示分别为“消耗时间和资源”与“影响实用性”。这一路线相当于重新培训模型让安全要求融入其参数但需要付出训练成本也可能影响模型完成正常任务的能力。右下方的“推理时干预”则展示了“响应评估流程”图像与文本输入模型后由评判器检查回答必要时循环调整。其代价是“降低效率”因为额外检查与反复生成会增加响应延迟。这张图为该论文提出方法提供了动机防御既要阻止危险回答也要保留正常任务能力并控制计算与时间开销。可以把两类现有方案分别理解为“上岗前重新培训”和“上岗后反复审核”该论文则尝试在模型生成过程中直接调整内部状态以改善这三项目标之间的平衡。需要注意这是一张问题与动机示意图并不意味着所有训练时或推理时防御都会出现同等程度的能力损失或效率下降。图2展示了SafeSteer的整体流程。第一步是“提取初始引导向量”将同一组图像与文本分别以原始形式、加入“安全前缀”的形式输入大型视觉语言模型获取对应的内部隐藏状态再计算两者的差值。图中的绿色与红色向量分别表示加入安全前缀后的状态和原始状态灰色向量则表示二者的激活差异。可以将其理解为观察模型在收到“请遵循安全规范”的提醒后内部处理方向发生了怎样的变化借此获得初步的安全引导信号。第二步是“提纯引导信号并自适应调整干预”。上方分支将初始向量投影到预先构建的“安全子空间”分离出投影分量与残余分量再通过增强前者、抑制后者重构最终引导向量以减少无关上下文的干扰。下方分支由“危害感知分类器”评估输入风险图中的“焦点损失”是其训练所用的损失函数。分类结果决定干预系数α的正负与大小高风险输入对应正向安全引导并添加安全前缀正常输入则不添加前缀采用反向调节以减少过度拒答、保留回答能力。因此该论文并非对所有输入施加相同强度的限制而是根据风险调整干预。第三步是“在生成过程中注入干预”处理后的输入进入模型最终引导向量在选定层、生成初期作用于隐藏状态引导后续回答。图中“视觉编码器”“第1层至第N层”和“安全回答”展示了这一过程的示意路径。整体上可以把该方法理解为一套带风险感知的方向修正系统先找到安全提醒带来的变化再筛出更有效的方向最后按需纠偏。其核心是直接调节模型内部激活无须修改基础模型权重从而尝试兼顾安全防御与正常任务能力。