医学图像报告生成系统实战：CNN编码器与Transformer解码器实现指南

简介这是一套医学图像报告生成系统毕业设计项目面向计算机相关专业如计科、人工智能、通信工程等学生与开发者提供可运行的完整源码和文档说明。项目深度融合深度学习模型与前后端交互适合用作毕设、课程设计或项目初期演示也可在现有代码框架上做功能扩展。压缩包共37个文件以Python模型脚本包括数据预处理、MultiHeadAttention、模型训练与评估和Vue前端页面为主辅以JSON/TypeScript配置、静态资源与README说明文档整包约183KB目录结构简单直观。内容覆盖从数据集构建、输入文件制作到模型训练、定性评估的完整流程还包含前端工程配置与接口交互样例便于理解医图报告生成任务的技术链路。目前该资源已有219人浏览学习项目经测试运行成功后上传质量相对可靠适合作为学习参考和技术复现的起步模板。1. 医学图像报告生成系统毕设选题前先看清这三件事医学图像报告生成系统本质上是一个「图像到文本」的生成任务输入一张 X 光或 CT 影像模型自动输出结构化的诊断报告文本。这个课题能同时覆盖计算机视觉和自然语言处理两个方向代码量和文档工作量都比较饱满是近几年 python 类毕设里性价比很高的选题。但它不是装一个开源模型就能跑通的。我见过太多同学把「医学图像报告生成」当成普通图片描述生成来做结果数据预处理、词表构建、评估指标三个环节全部翻车。为什么因为医学报告的语言高度模板化、句子长、专业词密集和 MS COCO 那种「一只猫坐在沙发上」完全不是一回事。这套系统适合谁第一类是计算机视觉方向想往多模态靠的同学第二类是 NLP 方向想补视觉基础的同学。你需要的是一台带 NVIDIA 显卡的机器能跑通 PyTorch 的 python 环境了解 CNN 和 Transformer 最基本的前向过程以及至少一个公开的医学影像报告数据集。这三样齐了往下的路基本能自己走通。2. 系统架构与模型选型CNN 编码器 Transformer 解码器管线怎么搭才不翻车2.1 特征编码与文本生成的闭环做医学图像报告生成首先要建立一条「图像特征 → 文本序列」的闭环。图像是一堆像素报告是一串 token中间必须有一个桥。这个桥在 2017 年之前是 CNN LSTM2017 年之后主流方案变成 CNN 编码器 Transformer 解码器本质上是把图像描述生成Image Captioning的思路搬到医学影像上。你可能会问为什么不用纯视觉 TransformerViT做编码器因为公开的医学影像数据集比如 IU-Xray、MIMIC-CXR样本量都在几千到几万张的量级ViT 需要海量数据预热你从头训几乎必崩。反过来ResNet 在 ImageNet 上有预训练权重把它当作特征提取器来用收敛速度快得多而且医学影像大多是灰度图结构信息相对简单CNN 的归纳偏置反而更稳。整个系统的数据流是这样的一张胸部 X 光片 → ResNet 抽取特征图 → 用一个卷积层把特征图投影到文本嵌入维度 → 展平成一组「视觉 token」→ 送入 Transformer 解码器 → 解码器逐个生成报告词。注意这里的视觉 token 不是词它们是给解码器做条件输入的 memory 序列解码器每个时间步都要对着这 49 个视觉 token 做交叉注意力。选型理由要记牢ResNet 负责「看到了什么」Transformer 解码器负责「怎么把这些发现组织成一句像人写的报告」。前者是视觉归纳偏置后者是序列建模能力。这个组合的另一个好处是解耦清晰编码器和解码器可以分别调整你后面换骨干网络或者换解码器层数都很方便不会牵一发动全身。2.2 数据集选择与输入管线预处理公开可用的数据集常见做法是优先考虑 IU-Xray它的规模对毕设刚好合适。每份样本包含一张或多张胸部 X 光片以及配套的放射科报告报告又拆成 findings 和 impression 两部分。很多毕设只取 findings 作为生成目标因为这部分是描述性长文本impression 是结论性短句生成起来太短、评估指标不好看。数据预处理是这套系统里最容易出「玄学问题」的地方。首先是图像X 光是单通道灰度图但 torchvision 的 ResNet 预训练权重是按 ImageNet 的三通道统计量做的归一化。所以你要把灰度图复制成三通道。这是一行代码的事但漏了它模型表现会掉一截。其次是报告文本英文要按空格切词并做小写化中文报告得用 jieba 分词而且切词结果要固定不能训练和推理时两套切法。还有一点要提前想清楚报告的 token 数量。一份 report 可能上百个词但 Transformer 解码器的序列长度如果设得太大显存和训练时间都会被拖累。我一般把它截断到 64 个 token够用。剩下来的就是构建词表过滤掉出现次数少于 3 的词把罕见词统一映射成unk这是控制词表规模的关键操作。输入管线的流程可以总结成下面几步第一步图像统一 resize 到 224×224第二步灰度图转三通道并做归一化第三步报告文本切成 token 序列加上bos和eos标记第四步超出 64 的截断不足的用pad补齐。这四步做完数据才能送进模型。3. 用 PyTorch 搭一个可运行的图像报告生成模型核心代码与参数设置3.1 数据加载与词表构建这节开始动手。你需要自己写一个 Dataset 类把图像和报告对起来返回。为了让 batch 里的序列长度一致我们把所有报告统一截断或补齐到 64。实际操作时我不建议在这里做动态 padding太麻烦固定长度对毕设来说最简单显存也稳定。# dataset.py import torch from torch.utils.data import Dataset from PIL import Image import torchvision.transforms as T # 固定的预处理参数224x224 是 ResNet 的默认输入尺寸 # mean/std 必须用 ImageNet 的统计量否则预训练权重白加载 transform T.Compose([ T.Resize((224, 224)), T.ToTensor(), T.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) class ReportDataset(Dataset): def __init__(self, samples, word2idx, max_len64): # samples: [(image_path, report_text), ...] self.samples samples self.word2idx word2idx self.max_len max_len def __len__(self): return len(self.samples) def __getitem__(self, idx): img_path, report self.samples[idx] # 灰度图自动保留单通道转 RGB 后复制成三通道 img Image.open(img_path).convert(L).convert(RGB) img transform(img) tokens report.lower().split()[: self.max_len - 2] ids [self.word2idx[bos]] [self.word2idx.get(w, self.word2idx[unk]) for w in tokens] [self.word2idx[eos]] # 补齐到 max_len ids ids [self.word2idx[pad]] * (self.max_len - len(ids)) return img, torch.tensor(ids, dtypetorch.long)逻辑说明__getitem__每次返回一对数据图像已经做完预处理报告文本被切成 token 序列并对齐到固定长度。pad的索引在类别定义里通常是 0后面计算损失时要靠ignore_index0把它跳过。参数说明max_len64是序列长度显存小的机器可以降到 48convert(L)是把图像强制转成灰度再convert(RGB)复制成三通道这样 ResNet 的第一层卷积不会报通道数错误。如果原始图像本身就是三通道但内容是灰度也可以不转效果几乎一样。3.2 构建编码器-解码器模型模型主体拆成两个类ImageEncoder 负责视觉特征CaptionDecoder 负责文本生成。编码器用 ResNet101去掉最后的池化和全连接层保留 7×7 的特征图再用 1×1 卷积把通道数从 2048 投影到 512和文本嵌入维度对齐。# model.py import torch import torch.nn as nn from torchvision import models class ImageEncoder(nn.Module): def __init__(self, embed_dim512): super().__init__() resnet models.resnet101(weightsmodels.ResNet101_Weights.IMAGENET1K_V1) # 去掉 avgpool 和 fc保留到 layer4 输出的特征图 self.backbone nn.Sequential(*list(resnet.children())[:-2]) # 1x1 卷积把 2048 维投影到 512 维相当于做通道对齐 self.proj nn.Conv2d(2048, embed_dim, kernel_size1) def forward(self, x): features self.backbone(x) # B, 2048, 7, 7 features self.proj(features) # B, 512, 7, 7 # 展平空间维度得到 49 个视觉 token格式适配 Transformer features features.flatten(2).permute(2, 0, 1) # 49, B, 512 return features逻辑说明Transformer 解码器期望的 memory 形状是(序列长度, batch, 嵌入维度)所以这里最后做了一次permute。49 这个数字来自 224/32 7ResNet 的五个 stage 刚好把图像下采样 32 倍。参数说明embed_dim512是文本嵌入维度如果你的显卡显存小于 6G建议改成 256 并同步调整解码器宽度。预训练权重参数用ResNet101_Weights.IMAGENET1K_V1老版本里写pretrainedTrue会有警告新版 API 推荐显式指定 weights。解码器用 PyTorch 自带的 TransformerDecoder这样不用手写多头注意力省去一大半实现量。位置编码用可学习的 Embedding而不是正弦编码因为序列只有 64可学习位置编码在数据量小的情况下更稳。class CaptionDecoder(nn.Module): def __init__(self, vocab_size, embed_dim512, num_heads8, num_layers6, max_len64): super().__init__() self.embedding nn.Embedding(vocab_size, embed_dim) self.pos_embed nn.Embedding(max_len, embed_dim) decoder_layer nn.TransformerDecoderLayer( d_modelembed_dim, nheadnum_heads, dim_feedforward2048, dropout0.1, batch_firstFalse ) self.decoder nn.TransformerDecoder(decoder_layer, num_layersnum_layers) self.fc_out nn.Linear(embed_dim, vocab_size) self.max_len max_len def forward(self, tgt, memory, tgt_mask): # tgt: (B, T) seq_len tgt.size(1) positions torch.arange(seq_len, devicetgt.device).unsqueeze(0) x self.embedding(tgt) self.pos_embed(positions) x x.permute(1, 0, 2) # (T, B, E) out self.decoder(x, memory, tgt_masktgt_mask) return self.fc_out(out.permute(1, 0, 2)) # (B, T, vocab_size)逻辑说明输入序列先做词嵌入和位置嵌入相加然后转成 Transformer 要求的(T, B, E)格式。tgt_mask是下三角掩码保证解码器在预测第 i 个词时看不到 i 之后的词这个掩码在训练和推理时都要生成。参数说明num_layers6是解码器层数数据量小的时候 3 层也能收敛层数越大越吃显存。dim_feedforward2048是前馈网络宽度改小到 1024 可以省显存。生成掩码的函数得单独写训练时每个 batch 调用一次# 下三角掩码让每个位置只能看到它之前的 token def build_tgt_mask(seq_len, device): mask torch.triu(torch.ones(seq_len, seq_len, devicedevice), diagonal1) return mask.bool()3.3 训练循环与损失函数训练用交叉熵损失关键是把ignore_index设为pad的索引这样补齐位置的损失不会被计算。优化器用 AdamW学习率 1e-4配合梯度裁剪防止 RNN 类模块的梯度爆炸。# train.py import torch import torch.nn as nn PAD_IDX 0 def train_one_epoch(model, dataloader, optimizer, criterion, device): model.train() total_loss 0.0 for images, reports in dataloader: images images.to(device) reports reports.to(device) # 输入是 reports[:, :-1]目标是 reports[:, 1:] # 这样做让模型每个位置都预测下一个词 tgt_input reports[:, :-1] tgt_output reports[:, 1:] memory model.encoder(images) tgt_mask build_tgt_mask(tgt_input.size(1), device) logits model.decoder(tgt_input, memory, tgt_mask) loss criterion( logits.reshape(-1, logits.size(-1)), tgt_output.reshape(-1) ) optimizer.zero_grad() loss.backward() nn.utils.clip_grad_norm_(model.parameters(), 1.0) optimizer.step() total_loss loss.item() * images.size(0) return total_loss / len(dataloader.dataset)逻辑说明这里用的是「教师强迫」训练方式也就是解码器的每一步输入都是真实报告的前一个词而不是模型自己生成的词。这样做收敛快但后面推理时会存在暴露偏差这个坑要留到避坑章里面说。参数说明clip_grad_norm_(..., 1.0)是梯度裁剪阈值我习惯设在 0.5 到 1.0 之间太小会让模型学得慢太大会在训练后期出现 loss 震荡。batch size 我通常设在 16 到 32 之间取决于显存。学习率 1e-4 是 Transformer 类模型比较稳的起点如果 loss 不降可以降到 5e-5 再试。主函数里组装模型和优化器def main(): device torch.device(cuda if torch.cuda.is_available() else cpu) model CaptionModel(vocab_sizelen(word2idx)).to(device) # CaptionModel 是 ImageEncoder 和 CaptionDecoder 的组合容器 optimizer torch.optim.AdamW(model.parameters(), lr1e-4) criterion nn.CrossEntropyLoss(ignore_indexPAD_IDX) for epoch in range(30): loss train_one_epoch(model, dataloader, optimizer, criterion, device) print(fepoch {epoch} loss {loss:.4f}) torch.save(model.state_dict(), fcheckpoints/model_{epoch}.pt)4. 生成报告的后处理与评估BLEU / ROUGE / CIDEr 参数怎么调4.1 从模型输出到可读报告解码与截断训练完成后模型输出的是一个概率分布你要把它变成文本有两类做法。贪心解码最简单每个时间步取概率最大的词送入下一步作为输入。Beam Search 会维护多个候选序列效果通常更好但参数量要调。对毕设来说beam size 设 3 效果就很明显了而且速度快到可以忽略不计。# generate.py def generate_report(model, image, vocab, max_len64, beam_size3): model.eval() with torch.no_grad(): memory model.encoder(image.unsqueeze(0).to(device)) # 用贪心解码做 baseline后面可以替换成 beam search tokens [vocab[bos]] for step in range(max_len): tgt torch.tensor([tokens], devicedevice) tgt_mask build_tgt_mask(len(tokens), device) logits model.decoder(tgt, memory, tgt_mask) next_token logits[0, -1].argmax(dim-1).item() if next_token vocab[eos]: break tokens.append(next_token) words [vocab.idx2word[t] for t in tokens[1:]] return .join(words)逻辑说明推理时没有真实报告可用只能把上一步生成的 token 拼回输入序列再跑一次前向。每次循环序列长度加一所以掩码也要重新生成这是推理比训练慢的主要原因。遇到eos就提前终止防止生成无意义的填充文本。参数说明max_len64是生成的硬上限超过这个长度即使没遇到eos也会强制截断。如果发现生成报告经常被截断说明训练集里的报告普遍偏长可以把 max_len 调到 80。beam_size3在代码里没有实际起作用要换成真正的 beam search 需要维护候选序列的分数和路径工程量多一些但评估分数通常能涨 2 到 4 个点。4.2 评估指标怎么算、怎么判读报告生成系统的评估是另一个大坑。主流指标是 BLEU、ROUGE-L 和 CIDEr三者侧重点不同BLEU 看 n-gram 精确率对流畅度敏感ROUGE-L 看最长公共子序列对召回和顺序更友好CIDEr 用 TF-IDF 加权更贴近「信息完整性」。医学报告生成论文里三个指标都会报你的毕设至少算前两个。# evaluate.py from nltk.translate.bleu_score import sentence_bleu, SmoothingFunction from rouge_score import rouge_scorer def evaluate_model(model, val_loader, vocab): model.eval() bleu_scores [] rouge_l_scores [] smooth SmoothingFunction().method1 scorer rouge_scorer.RougeScorer([rougeL], use_stemmerTrue) for images, reports in val_loader: with torch.no_grad(): for i in range(images.size(0)): gen_text generate_report(model, images[i], vocab) ref_tokens [vocab.idx2word[t] for t in reports[i].tolist() if t not in [vocab[bos], vocab[eos], vocab[pad]]] gen_tokens gen_text.split() # BLEU 对短句极不友好必须用平滑函数 bleu sentence_bleu([ref_tokens], gen_tokens, smoothing_functionsmooth) rouge scorer.score( .join(ref_tokens), gen_text)[rougeL].fmeasure bleu_scores.append(bleu) rouge_l_scores.append(rouge) print(fBLEU: {sum(bleu_scores)/len(bleu_scores):.4f}) print(fROUGE-L: {sum(rouge_l_scores)/len(rouge_l_scores):.4f})逻辑说明参考句必须是 token 列表生成句也要按相同方式切词。BLUE 计算时如果不加平滑函数只要生成句和参考句没有完全重合的 4-gram分数就是 0这在医学报告这种长句里几乎必然发生所以 SmoothingFunction 是必选项。参数说明use_stemmerTrue会对英文单词做词干还原比如 showing 和 shown 会被归一化这对句法变化比较多的报告有帮助但对专业术语可能有误伤。如果你发现评估分数虚高可以检查有没有这种词干误判。CIDEr 需要从头实现核心是把 n-gram 用 TF-IDF 加权后算余弦相似度代码量不大但要维护文档频率表毕设里如果时间紧可以只报 BLEU 和 ROUGE-L。5. 医学图像报告生成系统的避坑指南五个高频踩坑点5.1 显存溢出batch size 与图像分辨率现象训练到第二个 epoch 时显存突然不够报CUDA out of memory。原因Transformer 解码器的显存消耗随序列长度平方增长。你的 batch size 可能设在 32序列长度 64视觉 token 49这些乘在一起注意力矩阵直接撑爆显存。解决第一步把 batch size 降到 8看能不能跑通第二步如果还溢出用梯度累积模拟大 batch。梯度累积的常见做法是每 4 个 batch 更新一次参数效果等价于 batch size 32。另外可以把输入分辨率从 224 降到 192视觉 token 从 49 降到 36显存立刻省下一截代价是图像细节丢失但 224 本来就是常用值不建议再低。5.2 中文报告分词不一致现象用 jieba 分词构建词表时没问题但生成的中文报告有很多unk。原因一次最常见的翻车是训练时用 jieba 的默认词典切词推理时换了jieba.cut的自定义模式同一个句子被切成不同的词原来在词表里的词变成了未登录词。另一个原因是 medical 术语里「肺纹理」「磨玻璃影」这类词被切碎了。解决把分词函数单独抽出来训练和推理共用一个 python 函数并在 jieba 里加入医学词条。其实更简单的方式是构建词表前先用jieba.add_word把数据集里出现频次较高的医学术语加进词典再分词。分词结果要落盘保存成一个 json后面推理时加载同一个词表文件不要每次重新生成。5.3 教师强迫带来的暴露偏差现象训练 loss 一路下降很漂亮验证集 loss 也正常但生成出来的报告语句重复、前后矛盾。原因训练时用的是真实 token 作为输入推理时用的是模型自己生成的 token。一步错步步错错误会沿着序列累积。这是序列生成领域经典的暴露偏差问题不是你的代码写错了。解决常见做法是做计划采样训练时以一定概率把真实 token 替换成模型生成的 token概率随 epoch 衰减。另一个更省事的方案是训练完后再用交叉熵微调几个 epoch输入改成 beam search 生成的句子让模型适应自己的输出分布。对毕设来说计划采样实现成本低效果明显优先选它。5.4 pad 索引串位导致 loss 异常现象损失函数第一次打印是 8.2第二次直接变成 0.03再往后模型输出全是pad。原因你的ignore_index和pad索引没对上。常见做法是把pad固定在 0词表里其他词的索引从 1 开始但如果你在构建词表时把unk放在 0那损失就会把所有 pad 位置也算进去模型学到的是输出 pad 无惩罚自然全输出 pad。解决打印词表的时候花三十秒检查前三项是不是[pad, unk, bos]。还有一个容易被忽略的点处理后的目标序列里如果出现了pad和bos之外的 token 错位检查数据集中有没有空报告空报告会让整个 batch 的目标序列全是 pad梯度直接消失。5.5 生成报告无限重复词现象生成的报告里同一个单词循环出现比如 normal normal normal normal 重复十几遍直到触发长度截断。原因Transformer 解码器在推理时一旦陷入概率循环就会在几个高概率词之间打转。常见诱因是训练数据里有很多「正常 X 线平片未见异常」这类模板句模型学到了重复性输出模式。解决一个立竿见影的方法是推理时设置no_repeat_ngram_size禁止出现重复的 2-gram 或 3-gram这在 HuggingFace 的生成 API 里是一行参数自己写解码器时要在每一步检查当前候选词和历史 token 组成的 n-gram 是否已经出现过。另一个方法是降低温度参数从 1.0 降到 0.7让概率分布更尖锐。如果还是重复检查数据集中是否把「正常」这种高频词作为独立 token 且占比过高。6. 把模型变成可交付的毕设FastAPI 封装与 Gradio 验证界面6.1 FastAPI 封装推理接口模型训练完之后要让它演示起来我一般用 FastAPI 包一个推理服务。上传一张图片返回一份报告这样做答辩时可以直接用浏览器现拍一张胸片演示比在终端里敲命令直观得多。# api.py from fastapi import FastAPI, UploadFile, File from PIL import Image import io app FastAPI() app.post(/predict) async def predict(file: UploadFile File(...)): image Image.open(io.BytesIO(await file.read())).convert(L).convert(RGB) image transform(image) report generate_report(model, image, vocab) return {report: report}参数说明transform要和训练时完全一致包括 resize 尺寸、归一化均值和标准差。这里最容易犯的错误是推理时忘了convert(RGB)导致通道数不匹配。启动服务用uvicorn api:app --host 0.0.0.0 --port 8000。6.2 Gradio 快速搭建演示界面如果不想写前端Gradio 是最省事的方案。它和 FastAPI 可以共存你甚至会想直接用 Gradio 的 launch 而不是单独开服务。# app.py import gradio as gr def infer(image): image image.convert(L).convert(RGB) image transform(image) return generate_report(model, image, vocab) gr.Interface( fninfer, inputsgr.Image(typepil), outputstext, title医学图像报告生成演示, description上传胸部 X 光片自动生成放射科报告 ).launch(server_name0.0.0.0, server_port7860)参数说明typepil表示 Gradio 直接把图片转成 PIL 对象省去格式转换。启动后本机浏览器访问 7860 端口就能看到上传窗口。注意 Gradio 的新版本接口参数略有变化4.x 和 5.x 的gr.Image(type...)行为一致但旧教程里的enable_queue会被打警告去掉即可。我的习惯是 FastAPI 做接口层Gradio 只做演示层两者共享同一个模型实例。这样答辩的时候打开 Gradio 页面点几下比任何 PPT 截图都有说服力。最后说一个重要提醒如果模型在测试集上反复生成「正常」这类高频报告不要急着加数据先检查类别是否极度不平衡。我早期在这上面浪费过两周后来把 report 里出现超过 80% 的模板句单独过滤掉指标立刻恢复了。做这种课题最大的坑不是模型不会写而是你以为模型会写了实际上它只是在复读训练集里的高频模板。把验证集的生成结果打印出来逐条看比只看 loss 和 BLEU 有用得多。希望帮到你。本文还有配套的精品资源点击获取