VQA实战指南：从任务拆解到LoRA微调的视觉问答落地

VQAVisual Question Answering这名字确实有股学术腔但说白了就一句话让模型学会看图回答问题。你给它一张客厅的照片问“沙发上有几个抱枕”它得能数出来问“这张桌子是什么颜色”它得能答上来再刁钻一点问“主人大概是什么生活状态”它也得能根据画面里的细节推个一二。我在多模态方向做了几年VQA这个任务一直没绕开过。它既是学术界衡量模型“眼力”和“脑力”的标准测试题又是很多真实产品里“图文理解”能力的地基。这篇文章不打算给你堆论文而是基于我自己实际做过的VQA项目从任务拆解、模型选型、数据准备、训练调参、评估避坑一路讲到底。无论你是想做多模态搜索、智能客服的看图问答还是单纯想搞懂现在大模型为什么能“看懂”图片这篇都能给你一条可以直接上手的路径。1. VQA任务到底在解决什么问题1.1 VQA任务的形式化定义用数学一点的表达输入一张图像 I 和一句自然语言问题 Q模型需要输出一段答案 A。这个 A 可以是“是/否”这种封闭式答案也可以是一个单词或短语还可以是一整句生成的话。对应到评测上就衍生出了分类式VQA和生成式VQA两条路线。但要提醒第一次接触VQA的朋友这个任务远没有表面看上去那么简单。它不是“看懂图”和“看懂问句”然后各答各的而是要机器把两张信息表——一张是像素组成的图像一张是文字组成的问句——合并成一份真正有用的答案。你问模型“图里有几个人”模型得先定位到人的区域数清楚你再问“这些人里哪个戴帽子”它又得重新定位、做属性比对。我在项目里最直观的感受是VQA的难点从来不在于单个模态的识别而在于两种模态之间的对齐。图像里的一个“红色”要怎么对应到文本里的“red”一张图里有多个物体时问题里说的“它”到底指代哪个这些问题每一个拿出来都够写一篇论文但VQA把它们拌在了一起。1.2 为什么VQA比单一视觉或文本任务更难做纯图像分类模型只需要回答“这是什么”做纯文本问答模型只需要理解语言上下文。但VQA是两件事同时发生不仅要理解图像里的全部关键细节还要理解问题在关心什么细节并且能把这两种理解映射到同一个答案空间里。举一个我在项目中反复用到的例子给模型一张厨房的照片问“台面上有什么水果”。如果模型只“看见”了台面上有苹果和香蕉但没听懂问题限定的是“台面上”而不是“冰箱里”答案就会错。反过来如果模型听懂了问题但图像编码时把台面和背景的纹理混在一起同样得不到正确答案。这背后是一个很实际的技术问题图像特征和文本特征天然不在同一个语义空间里。图像的“特征”在早期方法里是卷积网络提取出的区域向量文本的“特征”是RNN或Transformer输出的token向量怎么把两者拼在一起、让模型学到“哪个图像区域对应哪个文本单元”是VQA乃至整个多模态领域的核心问题。这也是为什么你会看到后面几年大量工作都在研究注意力机制、跨模态编码器等本质上都在做同一件事校准两个模态之间的语义对齐关系。1.3 一个被忽视的陷阱语言先验在VQA项目里有一个非常出名、也非常坑的现象叫语言先验Language Prior。简单来说模型可以完全不看图只靠分析问题文本的规律就能在数据集上拿到不错的分数。这个现象在VQA v1数据集上尤其严重。数据里“是什么颜色”这类问题答案“白色”占比极高大量“是不是”类问题答案“是”占比极高。如果模型把这些统计规律记下来只要看到类似句型就输出高频答案不看图也能在测试集上蒙对很多题。学术上管这种模型叫“盲模型”别看Accuracy挺高实际对图像内容的感知能力几乎为零。所以现在的主流VQA数据集比如VQA v2在设计时就做了“平衡”处理同一个问题对应两张图片一张图的答案是A另一张图的答案是B。模型如果只看问题不看图就无法稳定答对只能靠真实的视觉理解。这个设计思路对我们自己做项目也有借鉴意义如果你只是想验证模型有没有真正理解图像而不是在背答案数据集的对抗性和平衡性比样本量更重要。2. 从Attention到多模态大模型方案选型演进2.1 早期拼特征时代的典型做法我最早接触VQA业内主流做法还是一套“双塔融合”的思路。视觉这边用预训练好的CNN比如VGG、ResNet提取整图的全局特征文本那边用LSTM或GRU把问题编码成一个隐状态向量然后把两个向量拼接或做外积喂给一个全连接分类器最后在答案集合上做多分类。这种做法的问题非常明显它像极了让两个人各写一份报告然后找第三个人强行把报告钉在一起——视觉信息和文本信息几乎没有交互。你问“最左边的椅子是什么颜色”模型把整张图压成一个向量后“最左边”这个空间位置信息早就丢了。所以那几年很多人都在修修补补但收效有限。真正带来质变的是注意力机制被引入。SANStacked Attention Networks和Bottom-Up Top-Down Attention这类方法开始让模型在回答问题之前先“看一眼”图像的关键区域。我当时用Bottom-Up的方法做了一个demo第一次看到模型在回答“猫在哪个位置”时真的把注意力热力图聚焦到了猫身上那种感觉还是很兴奋的。原理上说这就是把“全局看图”变成“带着问题看图”信息交互的效率比简单拼接高了一个量级。2.2 预训练多模态模型与统一编码注意力机制解决了交互问题但还有一个隐患模型还是从零开始学视觉和文本的关联样本效率太低。于是被NLP界预训练范式启发多模态预训练模型应运而生。以ViLBERT、LXMERT、UNITER为代表的一批模型把图像区域和文本token放进同一个Transformer编码器里。模型在大量图文对数据上先做预训练任务是掩码语言建模、掩码区域建模、图文匹配等让模型先学会“图像区域和文本token之间的基本对应关系”再拿到VQA任务上微调。这时候的典型架构可以概括为视觉编码器提取区域特征文本编码器得到token序列然后两者共同进入跨模态编码器进行充分交互最后用融合后的表示做答案分类。我在实际项目里也跟当时很多做工程的人一样直接基于这些预训练模型做下游微调效果比自己从零训练一个VQA模型好了不止一个档次。这给后来所有跟进者的启示是VQA任务里“预训练微调”的范式已经成了标配不要自己造轮子去跟大厂拼数据。2.3 生成式大模型时代的VQA新玩法时间推到近几年VQA的玩法又变了一次。CLIP把图像和文本通过对比学习拉进了同一个向量空间BLIP-2用Q-Former高效桥接视觉特征和冻结的大语言模型LLaVA则直接把视觉编码器输出的patch embedding“翻译”成语言模型的输入token让大语言模型能够基于图像内容做开放式的问答。在这个范式下VQA的本质从“分类”变成了“生成”。模型不再需要在固定的候选答案里挑一个而是像聊天一样直接生成一段自然语言回答。这也带来两个变化一是大语言模型的常识和推理能力可以直接迁移到视觉问答里。比如你问“这个房间里的人可能在做什么”模型不仅看到了画面里的动作还可以结合“一个人对着电脑戴着耳机”这类生活常识给出“可能在开会”这种开放答案。这在早期的分类式VQA里是做不到的。二是工程实现上图像编码和文本生成解耦了。图像编码器只负责把图片变成特征序列语言模型负责推理和生成。我自己的经验是这类模型对多模态任务的支持更通用也更接近产品化的需求——你不需要为每一个具体任务重新设计分类头而是直接通过prompt控制模型的行为。所以现在你再去搜“VQA任务”相关的内容十有八九看到的都是基于LLaVA或类似架构的做法。并不是说分类式VQA没有价值了但从技术演进的趋势看生成式VQA确实把“看图和对话”带到了一个新的高度。3. 手把手实操用开源模型在自定义数据上做VQA3.1 环境准备理论讲了那么多终究要落地。下面分享一个我自己最近做的实操项目基于LLaVA-1.57B版本在自己的数据上做LoRA微调实现一个针对个人照片场景的VQA模型。环境其实很常规核心依赖是这几个torch2.0 transformers4.36 accelerate peft deepspeed可选用 bitsandbytes如果做量化 Pillow我机器是单张A100 80G但这个项目其实用不到那么大显存。因为走LoRA微调冻结了绝大部分参数BF16混合精度下峰值显存大概15GB到18GB哪怕是4090这种24G显存的卡也能跑。如果你卡更小还可以把视觉编码器和语言模型都做4bit量化显存能压到8GB以内代价是训练速度慢一点。这里要提醒一下transformers的版本不要追新追得太离谱。LLaVA这类模型很多行为依赖特定版本的处理逻辑版本差太远容易在加载模型时碰到莫名其妙的key名称不匹配问题。我自己是固定了一个我已经验证过的版本组合每次新建环境都按这套来省去很多debug时间。3.2 数据集准备与指令模板设计VQA模型不是拿来就能答得先让它知道你期望的“问-答”长什么样。这一步的关键是数据格式。我准备了一个小数据集总共只用了20张自己拍的照片每张图配了大约5到8个问答对问题覆盖五类物体识别“图中有什么交通工具”、属性颜色“这辆车是什么颜色”、计数“画面里有几个人”、空间关系“电脑在桌子的左边还是右边”和简单推理“这个人大概在做什么”。LLaVA训练用的数据格式是对话式的JSON一个典型样本长这样{ id: photo_001_1, image: images/photo_001.jpg, conversations: [ { from: human, value: image\n图中有什么交通工具 }, { from: gpt, value: 图片中有一辆白色的小汽车停靠在路边。 } ] }这个占位符非常关键。它告诉模型“接下来我会给你一张图的特征就放在这里”。在LLaVA的处理流程里数据加载时会把这个占位符替换成视觉特征的嵌入向量。如果你的数据里没有这个标记模型就完全不知道图像内容该接到哪里训练出来的效果大概率是“答非所问”。至于指令模板我参考了LLaVA官方的做法和推理时的模板保持一致。训练时human一轮、gpt回答一轮推理时就按同样的结构把模型输入拼出来。很多人在这个细节上翻车——训练时模板末尾带Assistant前缀推理时却忘了加结果模型完全放飞自我。3.3 LoRA微调配置与训练数据和模板准备好后接下来是加载模型和配置LoRA。我用的基础模型是liuhaotian/llava-v1.5-7b。加载方法可以直接走transformers的AutoProcessor和AutoModelForVision2Seq但为了训练方便我习惯用LLaVA官方仓库的代码结构再叠加PEFT做LoRA。LoRA参数按常规配置来就行我用的是from peft import LoraConfig, get_peft_model lora_config LoraConfig( r8, lora_alpha16, target_modules[q_proj, v_proj], lora_dropout0.05, biasnone, ) model get_peft_model(model, lora_config)这里target_modules要注意LLaVA-1.5里LLM部分是Vicunaattention层的投影矩阵通常叫q_proj和v_proj。如果你用的基座模型不同比如换成了Mistral或者Qwen做语言底座模块名可能会变成qkv_proj或者别的最好先打印一下模型的state_dict确认不要照抄。训练参数方面我用的数据量很小总共不到150条问答对所以只跑了3个epoch。优化器用AdamW学习率2e-4warmup ratio 0.03batch size设为4梯度累积2步。因为数据量小整个训练过程快到几分钟就结束了。微调过程中我特意做了个对比实验先用原版模型回答同样的问题保存一份结果再拿LoRA微调后的模型回答对比变化。训练开始时loss大概在1.8左右第一个epoch结束就降到了0.7上下后面两个epoch继续平缓下降。整个loss曲线没有出现明显的震荡说明LoRA这个学习率算选对了。3.4 推理验证与效果对比推理时我写了一个简单脚本把图片和问题拼进模板调用模型生成答案设置max_new_tokens64。微调前模型的表现其实已经不错了毕竟LLaVA-1.5在通用VQA上很强。比如问“图中有几个人”模型能答“两个人”。但问到我那些照片里的具体特征时原版模型会偶尔用泛化答案糊弄过去。比如一张我拍的工作台照片问“桌上有什么”它会答“有电脑和书”但实际桌上还有一杯咖啡和一个耳机它就漏掉了。微调后的变化主要体现在两点一是答案更贴合我的数据分布模型会主动提到“咖啡”“耳机”这类我在标注里反复出现的物体二是回答的句式更规范基本能保持“图片中……”“画面里……”这种以图为主的描述风格而不是泛泛地下结论。当然我也发现了一些翻车场景。比如有一张夜景照片训练数据里一张夜晚的图都没有模型就把整张图的内容描述成了“白天”。这说明小数据微调能改变模型的回答偏好但很难补足它没见过的视觉分布。想真正提升这类能力还得在数据多样性上做文章。4. 评估指标与效果分析别被Accuracy骗了4.1 精确匹配与多参考答案的权衡VQA给出“答案字符串完全一致才算对”这种评判方式在真实操作里非常苛刻。一个问题可能有多种问法比如“图里有几个人”和“图中的人数是多少”答案“两个人”和“2人”在语义上一样但字符串完全不一致。VQA v2官方的评分方式比较巧妙对训练集的每个问题他们会找10个标注者分别给出答案最终预测只要与这10个答案中任意一个完全匹配就算作正确。这样做的好处是能容纳语言表达的多样性但代价是仍然无法解决同义词问题——“汽车”和“轿车”在语义上几乎等价可字符串不匹配就是不得分。我自己在项目里评估时除了用官方脚本还会额外跑一个语义等价匹配的逻辑把模型输出的答案和参考答案用文本向量模型算相似度超过一定阈值就视为答对。这个方法比较粗糙但对于小数据集快速迭代很有用至少不会被“多一个空格就打叉”这种问题干扰判断。4.2 分类型精度分析VQA的准确率需要做拆分看待整体Accuracy往往是各种问题类型相互掩盖的结果。我在自己的测试集上统计了同一份模型在不同问题类型上的表现数据很能说明问题问题类型样本数微调前准确率微调后准确率物体识别4271.4%83.3%属性颜色2867.9%78.6%计数1855.6%66.7%空间关系1650.0%62.5%简单推理2462.5%70.8%整体12864.8%75.0%这份表格能看出几件事首先LoRA微调在所有类型上都有提升说明模型对训练数据的小范围适配是有效的其次计数和空间关系这两类问题的基线准确率明显偏低这其实也是整个VQA领域的通病——模型对“数量”和“相对位置”的感知力天然弱于对“物体类别”的感知力。如果只报告一个整体75%的准确率你会觉得模型还行。但拆开看就知道计数类问题还有三分之一会出错这在真实产品里可能就是致命短板。所以我一直建议做VQA评估一定要按问题类型拆解不要被平均数蒙蔽。4.3 分布偏移下的鲁棒性测试学术圈有一个专门用来戳穿VQA模型“虚假高分”的数据集叫VQA-CP。它重新划分了训练集和测试集使测试集上问题类型对应的答案分布和训练集完全不同。很多在VQA v2上拿高分的模型一到VQA-CP上分数就断崖式下跌原因就是模型偷偷学了训练集的答案分布规律。我做了一个类似的鲁棒性测试把训练数据里所有“图中是否有杯子”的问题全部改成答案“是”然后在测试时故意把这类问题全部换成“图中没有杯子、什么都没有”的图片。结果微调后的模型有一半的情况还是给出了“是”。这就是典型的语言先验。所以如果你做一个落地项目最好留出一部分分布偏移的测试集专门用来检验模型是不是真正基于图像内容作答。如果模型在偏移测试下分数显著下降说明它并没有真正“看见”图像只是在背训练集里的答题规律。这个检查点所有人都值得养成习惯。5. 常见问题与排坑实战记录5.1 loss不下降和显存爆炸训练VQA模型时最常遇到的问题就是loss不降。我在这个项目里遇到过两次。第一次是因为数据格式不对image占位符没有被正确替换导致模型全程在“盲答”——它只看到了文本问题根本没有任何图像信息输入。这种时候模型也能把loss降下去一点但降不到理想水平因为它在纯文本模式下学不到任何视觉关联。排查方法很简单训练前单独写一个数据加载的测试脚本把处理后的batch打印出来检查视觉特征那一项是不是真的存在并且shape正确。不要直接全量跑训练跑完才发现数据是坏的纯浪费时间。显存爆炸问题也一样常见。LLaVA-1.5-7B全量微调对大显存要求很高但用LoRA之后会把显存占用降一大截。如果显存还是不够可以叠加两个操作一是开gradient checkpointing牺牲一点速度换取显存二是用8bit或4bit的量化模型基座。我试过4bit量化LoRA在24G卡上跑7B模型是没问题的速度大概比全精度慢20%~30%但能接受。5.2 模型“看不懂图”的三种典型表现我总结了一下VQA模型“看不懂图”通常有三种外在表现第一种是答非所问。你问“图中有几个人”它回你一句“这是一个阳光明媚的场景”。这种基本都是prompt模板问题——训练和推理时指令格式不一致或者模型生成了太多与问题无关的套话。解决方法是把生成参数里的temperature调低同时把max_new_tokens控制在一个较小的值别让模型自由发挥太远。第二种是复读式回答。模型生成了一句话然后不断重复最后一个词。我遇到过一次被迫在生成时加了no_repeat_ngram_size3才压住。这往往和数据里答案过短、模型还在写着写着就重复了有关可以在数据里适当增加一些长答案样本。第三种是幻觉式“硬答”。你给它一张纯色图片它也能编出“图中有几只猫”。这是生成式模型的通病只能通过数据对抗性调整来缓解。我在训练数据里额外加了一批“图中没有出现特定物体”的负样本让模型在数据层面学会说“图中没有”实测对抑制幻觉有一些帮助。5.3 答案长尾与输出截断VQA的答案长度分布极不均衡一半以上的答案只有一两个词但也有一小部分答案需要一整句话来描述。我在训练时一度把max_new_tokens设成32结果发现有些需要长答案的问题模型话没说完就被截断了。反过来如果设得太长模型又容易在短答案问题上画蛇添足。我现在的做法是分场景处理如果产品要的是短答案就在prompt里显式要求“请用短语直接回答”同时把生成长度上限设小如果要的是长描述就把上限调大并在后处理时做截断和去重。VQA模型不会自动判断该答多长这个决定必须由你的场景来做。5.4 数据集标注不一致自己标注数据最容易踩的坑就是标注风格不统一。我在第一次整理数据时同样一个场景有些答案写“2个人”有些写“两个人”有些写“两三个人”。这种不一致会让模型在训练时很困惑它不知道该学“2”还是“两”作为标准答案。后来我把整个数据集的标注规范重新写了一份明确要求数词统一用中文数字颜色统一用“白色”而不是“白”物体名称尽量用训练数据里出现频率更高的那个词。改完之后同类问题的准确率提升了大概5个百分点而且模型回答的稳定感明显变好。另外一个建议是数据集里正负样本的比例不要差太远。如果你所有问题都是“有什么”没有“没什么”模型会倾向于在不确定的时候胡编乱造因为它没见过“图中没有”这种答案。适当加一点负样本反而会让模型的判断更谨慎。最后再分享一点实操体会。VQA这个任务初看门槛高但现在的开源生态已经把底层模型做得非常成熟普通工程师真正需要关心的不是从零训练一个大模型而是怎么设计数据、怎么组织prompt、怎么评估效果。我做这个项目最大的感受是小数据微调能带来的变化并没有传说中那么神它改变的是模型的回答风格和局部偏好而不是通用视觉理解能力。真正决定一个VQA系统能不能用的还是数据质量和评估闭环。如果你想在自己的业务里落地VQA别急着堆算力先把数据规范和评估指标立起来再谈模型优化这条路会顺很多。