Nature子刊 IF=15.1 | Prompt + Mamba：一种更高效的肝细胞癌 CT 分割新框架

引言精准分割腹部CT中的肝细胞癌HCC病灶对早期诊断和手术规划至关重要但长期面临肿瘤形态异质性强、小病灶对比度低、扫描设备差异大的挑战——传统CNN受限于局部视野Transformer类方法又存在计算成本高昂的瓶颈。近日发表在《npj Digital Medicine》上的一项研究给出了高效解法研究团队提出Prompt-Mamba-AF框架整合解剖感知提示、Mamba状态空间建模和结构感知滤波模块在多数据集上实现了超越现有SOTA的分割精度尤其在小病灶检测和跨域泛化上优势显著同时仅用27.6M参数兼顾了轻量化与临床适配性。基本信息•文章标题Prompt-Mamba Filtering Networks for Accurate Hepatocellular Carcinoma Lesion Segmentation in Abdominal CT•期刊npj Digital Medicine•影响因子15.1•发表时间2026年1月13日•研究单位1. 呼和浩特市第一医院肝胆胰脾外科2. 内蒙古自治区人民医院肝胆胰脾外科3. 中山大学附属第六医院放射肿瘤科4. 南方医科大学第三附属医院普通外科5. 重庆邮电大学网络空间安全与信息法学院6. 俄克拉荷马大学健康科学中心肿瘤科学系7. 中山大学附属第三医院肝脏外科暨肝移植中心8. 广州医科大学附属肿瘤医院/广州癌症研究所肝胆外科9. 呼和浩特市第一医院基础与转化医学中心•论文地址https://doi.org/10.1038/s41746-026-02371-5•算力描述使用NVIDIA A100 GPU80GB开展训练研究内容与方法1. 整体架构设计设计动机解决传统CNN局部感受野局限、Transformer二次计算复杂度适配高分辨率3D影像困难的问题针对早期肝癌小病灶辨识度低、边界不规则的临床挑战构建适配3D医学影像的分层编解码架构实现逻辑三阶段工作流依次执行Prompt引导注入、Mamba增强编码、结构感知解码输入输出输入腹部CT切片X∈RH×WX \in \mathbb{R}^{H×W}X∈RH×W与对应解剖学Prompt掩码PPP输出肝癌病灶分割预测掩码Y^\hat{Y}Y^架构示意图2. Prompt引导的带门控过滤的Patch嵌入设计动机早期肝癌病灶体积小5cm³、与肝实质对比度低标准Patch embedding平等处理所有区域将大量计算资源消耗在背景干扰区域需要显式引导模型聚焦肝脏区域实现逻辑双分支特征提取图像特征分支通过浅卷积块提取CT切片的局部纹理特征FimgF_{img}Fimg​Prompt注意力分支对解剖学Prompt掩码PPP进行多尺度膨胀卷积与轻量沙漏网络处理生成空间注意力权重图ApromptA_{prompt}Aprompt​ApromptH(Concat(D1(P),D2(P),D3(P)))A_{prompt} H\left( \text{Concat}\left( D_1(P), D_2(P), D_3(P) \right) \right)Aprompt​H(Concat(D1​(P),D2​(P),D3​(P)))其中Dr(⋅)D_r(·)Dr​(⋅)代表膨胀率为r∈{1,2,3}r∈\{1,2,3\}r∈{1,2,3}的膨胀卷积用于捕获多尺度解剖学先验H(⋅)H(·)H(⋅)为轻量沙漏网络用于细化注意力权重残差门控特征融合将图像特征与注意力权重进行元素级乘法后添加残差连接得到过滤后的特征FinF_{in}Fin​FinFimg⊙σ(Aprompt)FimgF_{in} F_{img} \odot \sigma(A_{prompt}) F_{img}Fin​Fimg​⊙σ(Aprompt​)Fimg​其中⊙\odot⊙为元素级乘法σ\sigmaσ为sigmoid激活函数残差连接避免Prompt掩码存在误差时的特征丢失核心优势显式引导模型聚焦肝脏区域抑制背景干扰带来的误检残差门控设计保证模型在Prompt掩码存在偏差时仍能有效提取特征3. Mamba增强的多维度Transformer模块设计动机传统Transformer自注意力机制处理3D volumetric数据时具有二次计算复杂度O(N2)O(N^2)O(N2)难以适配高分辨率医学影像同时需要高效捕获长程空间依赖的同时保留局部细节与通道特征选择性实现逻辑Mamba状态空间建模SSM连续状态空间方程输入序列x(t)x(t)x(t)通过状态空间方程映射到隐藏状态h(t)h(t)h(t)与输出y(t)y(t)y(t)h′(t)Ah(t)Bx(t),y(t)Ch(t)h(t) A h(t) B x(t),\quad y(t) C h(t)h′(t)Ah(t)Bx(t),y(t)Ch(t)其中A,B,CA,B,CA,B,C为可学习的演化参数离散化适配采用零阶保持ZOH方法将连续状态空间方程离散化引入时间尺度参数Δ\DeltaΔAexp⁡(ΔA~),B(ΔA~)−1(exp⁡(ΔA~)−I)⋅ΔB~A \exp(\Delta \tilde{A}),\quad B (\Delta \tilde{A})^{-1}(\exp(\Delta \tilde{A}) - I)·\Delta \tilde{B}Aexp(ΔA~),B(ΔA~)−1(exp(ΔA~)−I)⋅ΔB~Mamba额外让参数B,C,ΔB,C,\DeltaB,C,Δ与输入数据相关实现基于输入内容的选择性信息传播与遗忘适配低对比度CT影像的噪声过滤需求多维度Transformer Block组件空间建模M-SSA使用Visual MambaVim块替代标准自注意力层以线性复杂度O(N)O(N)O(N)捕获全局空间依赖YSMamba(F)FY_S \text{Mamba}(F) FYS​Mamba(F)F局部细化ESA采用带限制窗口的高效自注意力ESA保留细粒度局部细节YEESA(F)Y_E \text{ESA}(F)YE​ESA(F)特征选择CSA通过通道自注意力CSA重新校准特征图强化肿瘤判别性通道的权重YCCSA(F)Y_C \text{CSA}(F)YC​CSA(F)可学习特征融合通过MLP对三个组件的输出进行加权融合平衡全局、局部与通道特征FoutMLP(YEλ1YSλ2YC)F_{out} \text{MLP}\left( Y_E \lambda_1 Y_S \lambda_2 Y_C \right)Fout​MLP(YE​λ1​YS​λ2​YC​)其中设置λ10.6\lambda_10.6λ1​0.6、λ20.4\lambda_20.4λ2​0.4分别控制全局空间上下文与通道上下文的贡献占比核心优势以线性复杂度实现3D影像的全局长程依赖建模大幅降低计算开销结合全局空间建模、局部细化与通道选择平衡全局上下文与局部细节的保留4. 结构感知的边界过滤模块设计动机肝癌病灶边界常与血管相邻标准逐像素分割易产生碎片化轮廓或“孤岛”伪影需要显式施加拓扑平滑约束提升边界分割的连续性与准确性实现逻辑条件卷积CondConv机制在解码器瓶颈位置基于局部特征拓扑动态生成卷积核对解码器特征FdecF_{dec}Fdec​进行细化FrefinedCondConv(Fdec,G(Fdec))F_{refined} \text{CondConv}(F_{dec}, G(F_{dec}))Frefined​CondConv(Fdec​,G(Fdec​))其中G(⋅)G(·)G(⋅)为局部边界概率估计模块用于预测当前特征的局部边界概率以此动态生成CondConv的卷积核参数核心优势显式施加拓扑平滑约束抑制孤立误检像素动态卷积核适配不同病灶的边界特征锐化肿瘤-肝实质的过渡边界5. 复合损失函数设计设计动机单一损失函数难以同时优化区域分割重叠度与边界精度且肝癌分割存在病灶与正常肝实质的类别不平衡问题实现逻辑复合损失函数整合Dice损失、加权交叉熵损失与边界损失LtotalLDiceαLCEβLBoundaryL_{total} L_{Dice} \alpha L_{CE} \beta L_{Boundary}Ltotal​LDice​αLCE​βLBoundary​LDiceL_{Dice}LDice​优化分割区域与真实标签的重叠度LCEL_{CE}LCE​加权交叉熵损失处理类别不平衡问题LBoundaryL_{Boundary}LBoundary​基于符号距离图SDM计算预测边界与真实边界的偏差惩罚边界分割错误设置权重参数α1.0\alpha1.0α1.0β0.5\beta0.5β0.5核心优势兼顾区域分割的准确性与边界分割的精度缓解类别不平衡带来的训练偏差提升小病灶的分割性能实验结果分析一、多基准场景下的SOTA性能验证Prompt-Mamba-AF在LiTS、3DIRCADb、CHAOS三大医学影像数据集上全面超越现有CNN、Transformer及医学基础模型验证了其HCC分割的精度与泛化能力LiTS多中心数据集实现92.4%的Dice相似度HD95边界误差7.9mm仅27.6M参数为MedSAM的1/4召回率90.3%精度、效率、边界保真度均领先跨域零样本LiTS→3DIRCADb无微调下Dice达79.2%较MedSAM提升2.8%可对抗扫描仪差异与不规则肿瘤形态跨模态零样本CT→MRIDice82.4%HD9512.5mm捕捉跨模态通用解剖结构特征二、核心模块的有效性消融验证通过消融实验拆解各组件贡献明确解剖感知Prompt与Mamba为性能核心解剖感知Prompt无Prompt时Dice仅88.3%加入后Dice提升至92.4%小病灶召回率从85.6%升至90.3%有效抑制背景噪声Mamba替换自注意力基线ViT自注意力Dice87.1%替换为Mamba后Dice升至91.0%FLOPs从44.5G降至39.6G兼顾精度与效率全模块整合逐步加入Prompt、Mamba、CSA、SSA后性能逐层提升至最优三、小病灶检测与鲁棒性优势针对HCC分割核心痛点模型展现出显著优势小病灶5cm³Dice73.5%召回率77.8%较MedSAM提升4.1%解决早期HCC检测难题抗干扰鲁棒性高斯噪声下Dice仅降7.9%U-Net降13.1%随机遮挡场景超MedSAM4%适配临床低质量图像跨器官泛化零样本迁移至肾脏、心脏等任务Dice达74.8%-87.0%具备通用分割潜力优势与局限优势•精准高效的小病灶分割融合解剖感知提示与Mamba线性复杂度全局建模在LiTS数据集小HCC病灶上Dice达73.5%参数仅27.6M远少于同类大模型。•强跨域跨模态泛化能力零样本迁移至不同扫描设备的3DIRCADb数据集、跨模态MRI的CHAOS数据集均取得SOTA性能解剖提示与Mamba结构建模有效抵消域偏移。•临床级鲁棒性在高斯噪声、运动模糊、随机遮挡的扰动下性能下降幅度远低于U-Net、MedSAM等基线适配真实临床成像的复杂场景。局限•依赖上游肝分割提示模型性能受输入的肝ROI质量影响若上游肝分割存在误差会直接传导至病灶分割结果。•部署设备要求较高当前实现依赖GPU训练与推理在资源有限的CPU边缘设备上部署存在难度需进一步轻量化优化。•缺乏前瞻性临床验证仅基于公开回顾性数据集验证未开展多中心前瞻性临床测试真实临床场景的实用性需进一步确认。参考文献Mamba: Linear-time sequence modeling with selective state spacesGu et al., 2024该论文提出了具备选择性状态空间的Mamba模型实现了线性复杂度的长序列建模。本研究核心的Mamba-Enhanced Encoding模块基于该模型构建替代传统Transformer的自注意力机制高效捕获腹部CT中HCC病变的长程空间依赖同时显著降低计算开销。Swin-unet: Unet-like pure transformer for medical image segmentationCao et al., 2022本文提出了类U-Net结构的纯Transformer模型Swin-UNet是医学图像分割领域的代表性Transformer基线。本研究将其作为关键对比模型验证了Prompt-Mamba-AF在HCC分割任务上的性能优势尤其是在小病灶敏感性、边界精度和跨域泛化能力上的提升。The liver tumor segmentation benchmark (lits)Bilic et al., 2023该论文构建了大规模多中心肝脏肿瘤分割基准数据集LiTS涵盖了不同分辨率、病灶大小和扫描异质性的腹部CT数据。本研究以此数据集为主要训练、验证和消融实验平台开展了全面的性能评估与模块有效性验证。Segment anything in medical imagesMa et al., 2024该论文将通用分割模型Segment Anything适配到医学图像领域提出了MedSAM具备较强的通用医学图像分割能力。本研究将其作为基础模型基线验证了Prompt-Mamba-AF在参数规模仅为前者1/4的情况下实现了更优的HCC分割精度、跨模态泛化性能和小病灶检测能力。