大模型持续学习：灾难性遗忘、EWC 与 LoRA 参数隔离

1. 面试现场一个看似简单的问题面试官问你一个大模型微调先微调了法律知识又微调了医疗知识结果法律能力全丢了加数据混合能解决吗你回答不能。旧数据拿不到比例也调不好。追问那为什么有的方案能持续学习新任务还不忘记旧的又答不上来了吧。这里涉及的就是持续学习中的灾难性遗忘、弹性权重固化EWC和参数隔离机制。考的是模型知识保持和参数更新边界的工程理解。2. 微调到底调了啥从权重说起先把最基础的问题说清楚微调调的就是模型的权重参数而且是神经网络里那一堆权重矩阵和偏置。一个神经网络可以看成一张巨大的参数表。以 Transformer 为例每一层里都有注意力层的投影矩阵W_q、W_k、W_v、W_o负责把输入映射成 query/key/value 并做输出投影前馈网络FFN的两层矩阵先升维再降维参数量通常占整层的大头LayerNorm 的缩放和偏置γ、β数量少但影响数值稳定性词嵌入矩阵和输出头词表有多大这一块就有多宽。这些矩阵里的每一个数字都是训练时通过反向传播一点点更新出来的。所谓微调就是拿一个已经预训练好的权重作为起点用新任务的数据继续跑梯度下降把这些数字往新任务更优的方向挪一挪。# 微调的本质对权重做梯度更新forx,yindataloader:losscriterion(model(x),y)loss.backward()# 算出每个权重的梯度optimizer.step()# 权重 - lr * 梯度所以全参微调调的是全部权重局部微调调的是其中一部分权重——这正是后面 EWC 和 LoRA 的分歧所在前者想办法约束哪些权重不能乱动后者干脆只让一小部分权重参与训练。2.1 权重里到底存了什么一个常见的误解是知识存在某一层。实际上预训练模型学到的知识是分散在大量权重里的分布式表示没有哪个矩阵专门存法律知识、哪个矩阵专门存医疗知识。这也解释了为什么灾难性遗忘难以避免新任务的梯度更新不区分权重的重要性只要某个权重对降低新任务损失有用它就会被改而它可能恰好也是旧任务依赖的。权重是共享的知识就是耦合的。2.2 训练数据到底是什么训练数据是外部样本文本、问答对、图片标签不进模型结构参数权重是模型内部那堆数字是训练后沉淀下来的学到的知识。训练就是拿数据反复前向、算损失、反向传播把梯度作用到参数上——数据是输入参数是输出数据用完可丢参数会留下。# 数据 → 梯度 → 参数forx,yindataloader:# x, y 是训练数据样本losscriterion(model(x),y)# 数据喂进模型算出误差loss.backward()# 误差反传得到每个参数的梯度optimizer.step()# 梯度更新参数权重# 训练结束后数据可以不再保存参数被固化下来这也解释了旧数据丢了为什么麻烦——参数里只留下旧数据训练后的结果原始样本没了就没法再算梯度、做回放只能从参数层面保护这正是 EWC 和 LoRA 要解决的问题。至于自己存一份旧数据真实工程里往往卡在几道坎上数据不归你合同常写明仅用于本次训练、不得留存、隐私合规医疗金融法律样本脱敏授权审计成本比训练还高、流式一次性线上日志训完即弃、存了也未必能用分布会变全量回放可能比重训还贵、跨团队跨版本数据在别的部门或基座换了版本对应关系已断。一句话能存最好存不了才是常态——方案要按旧数据拿不到这个最坏情况来设计。3. 先搞清楚持续学习到底在问什么持续学习到底怎么判断哪些参数能改哪些必须冻结旧知识存在哪一层很多人的第一反应是把新旧数据混在一起训练就行了。但真实情况要细得多。全参微调时新任务的梯度会覆盖旧任务学到的权重模型容量被新任务占满旧任务的表现断崖式下跌。混旧数据时旧数据可能已经拿不到了比例调不好还会两头不讨好。所以在默认全参数微调、无参数保护的场景下答案就是不能。但面试时如果只答不能其实只答对了一半。更完整的回答是分情况默认全参微调下新任务会覆盖旧任务的参数旧知识发生灾难性遗忘这条路走不通可一旦引入弹性权重固化 参数隔离 LoRA 适配器这套配置答案就变成可以——EWC 负责保护对旧任务重要的参数LoRA 则为每个任务提供独立的适配器两者配合新任务学得进、旧任务忘不掉。4. 灾难性遗忘的成因一个模型要学习新任务本质上是调参数让新任务的损失下降。默认规则下全参微调对所有参数一视同仁新任务的梯度更新不区分哪些参数对旧任务重要。旧任务的知识分散在大量参数里新任务训练时这些参数被大幅修改旧知识被覆盖这就是常见的知识遗忘。更麻烦的是旧任务的训练数据因为隐私或者存储原因已经不可用没法做数据回放Replay。数据回放这条路走不通就只能从参数层面想办法。4. 方案一弹性权重固化EWC持续学习提供了多个层面的方案其中一个叫弹性权重微调也就是 EWCElastic Weight Consolidation。EWC 的核心思路是Fisher 信息先估计每个参数对旧任务的重要性重要性越高的参数在学新任务时越要拉住它不让它被大幅改动。这样新任务仍然能学但不会把旧任务的关键权重冲掉。代价是需要额外计算 Fisher 信息矩阵并且要为每个旧任务保存一份重要性权重任务一多存储和计算开销都会上升。4.1 PyTorch 实现Fisher 信息 惩罚项光讲思路不够面试官很可能让你写两行看看。下面这段代码把 EWC 的三个关键动作都覆盖了算 Fisher 信息、存重要性权重、在 loss 里加惩罚项。importtorchimporttorch.nnasnnfromcopyimportdeepcopydefcompute_fisher(model,dataloader,criterion,devicecuda):在旧任务数据上估计每个参数的 Fisher 信息对角近似fisher{n:torch.zeros_like(p)forn,pinmodel.named_parameters()}model.eval()forx,yindataloader:x,yx.to(device),y.to(device)model.zero_grad()losscriterion(model(x),y)loss.backward()# 只求梯度不更新参数forn,pinmodel.named_parameters():ifp.gradisnotNone:fisher[n]p.grad.detach()**2# Fisher ≈ 梯度的平方逐样本累加forninfisher:fisher[n]/len(dataloader)# 取平均得到参数重要性returnfisherdefsave_ewc_state(model,fisher,pathewc_state.pt):保存旧任务参数快照 重要性权重供后续任务使用torch.save({params:{n:p.detach().cpu()forn,pinmodel.named_parameters()},fisher:{n:f.cpu()forn,finfisher.items()},},path)defewc_loss(model,criterion,outputs,targets,ewc_state,lam1000.0):新任务 loss EWC 惩罚项λ/2 * Σ F_i * (θ_i - θ*_i)^2losscriterion(outputs,targets)penalty0.0forn,pinmodel.named_parameters():ifnnotinewc_state[fisher]:continuefewc_state[fisher][n].to(p.device)# 旧任务对该参数的重要性theta_starewc_state[params][n].to(p.device)# 旧任务收敛时的参数值penalty(f*(p-theta_star)**2).sum()# 重要性越高偏离惩罚越重returnlosslam/2.0*penalty,loss,penalty几个容易踩坑的点Fisher 要在旧任务数据上算算完立刻save_ewc_state因为旧数据后面可能就拿不到了lam是弹簧硬度调大更护旧知识、但新任务学得慢调小则相反通常从 100~10000 之间试对角近似只存每个参数一个标量显存友好这也是工程上最常用的做法多任务累积时把每个旧任务的fisher和params都存一份惩罚项逐任务累加。5. 方案二参数隔离 低秩适配LoRA另一个思路是参数隔离典型代表就是 LoRALow-Rank Adaptation。LoRA 的做法是冻结预训练模型的大量权重矩阵只引入低秩矩阵作为适配器参与训练。不同任务各自训练一套适配器参数天然隔离互不干扰。5.1 多科室医疗问答系统在多科室医疗问答系统里先上线了神经内科模型最后上线儿科。如果每次都用全参数微调后面科室会覆盖前面科室。用 LoRA 微调每个科室一个适配器推理时根据科室路由到对应的适配器互不干扰。5.1.1 代码示例按科室路由到对应 LoRA 适配器思路很直接主干模型只加载一次并全程冻结每个科室各自训练一套 LoRA 权重推理时按科室把对应的适配器挂上去。下面用 PEFT 演示适配器的加载与切换。importtorchfromtransformersimportAutoModelForCausalLM,AutoTokenizerfrompeftimportPeftModel BASE_MODELQwen/Qwen2.5-7B-InstructADAPTER_DIR{neurology:./lora/neurology,# 神经内科适配器pediatrics:./lora/pediatrics,# 儿科适配器cardiology:./lora/cardiology,# 心内科适配器}tokenizerAutoTokenizer.from_pretrained(BASE_MODEL)# 1. 主干只加载一次并冻结全部参数LoRA 训练时主干本就不更新base_modelAutoModelForCausalLM.from_pretrained(BASE_MODEL,torch_dtypetorch.bfloat16,device_mapauto)forpinbase_model.parameters():p.requires_gradFalse# 2. 把第一个适配器挂到主干上得到一个可切换的 PeftModelfirst_deptnext(iter(ADAPTER_DIR))modelPeftModel.from_pretrained(base_model,ADAPTER_DIR[first_dept],adapter_namefirst_dept)# 3. 其余科室的适配器一次性加载进来但同一时刻只有一个处于激活状态fordept,pathinADAPTER_DIR.items():ifdeptfirst_dept:continuemodel.load_adapter(path,adapter_namedept)# 只加载权重不激活model.eval()defroute_inference(dept:str,question:str,max_new_tokens:int256)-str:按科室路由激活对应适配器 → 推理 → 其他适配器自动失效ifdeptnotinADAPTER_DIR:raiseValueError(f未知科室{dept})# 关键一步切换激活的适配器主干权重不动只换低秩分支model.set_adapter(dept)messages[{role:user,content:question}]inputstokenizer.apply_chat_template(messages,add_generation_promptTrue,return_tensorspt).to(model.device)withtorch.no_grad():outputsmodel.generate(inputs,max_new_tokensmax_new_tokens,do_sampleFalse)# 只解码新生成的部分跳过输入 promptreturntokenizer.decode(outputs[0][inputs.shape[-1]:],skip_special_tokensTrue)# 4. 同一个进程里连续服务不同科室互不干扰print(route_inference(neurology,患者突发右侧肢体无力伴言语不清考虑什么))print(route_inference(pediatrics,3 岁儿童发热 39℃ 两天如何处理))几个工程上必须注意的点主干只加载一份所有科室共享同一个基座模型显存占用约等于「一个基座 N 份小适配器」而不是 N 个完整模型set_adapter是切换开关它只改变前向时走哪套低秩分支不会改动主干权重所以科室之间天然零干扰适配器要按科室命名并做版本管理adapter_name建议直接用业务标识方便灰度、回滚和 A/B 对比路由层要能兜底科室识别不出来时走通用适配器或直接回退到基座模型别让请求直接报错并发场景下别共享可变状态多线程/多请求同时推理时set_adapter是全局状态建议按适配器做模型实例池或改用支持 per-request adapter 的推理框架如 vLLM 的 multi-LoRA。5.2 其他典型场景推荐系统用户喜好不断变化不同阶段、不同人群可以挂不同适配器。企业知识库新文档不断进来按业务域拆分适配器避免新知识冲掉旧知识。6. 怎么判断一个持续学习方案好不好面试里如果被追问那你说说怎么评价一个方案行不行别只背名词直接给四条判断标准一条一条对着看旧任务关键参数有没有做保护看方案是否显式估计了参数对旧任务的重要性比如 Fisher 信息并对关键参数施加约束。没有这层保护新任务的梯度就会无差别地冲刷旧权重。参数隔离有没有做到任务间零干扰看不同任务的更新是否落在互不重叠的参数子空间上。LoRA 冻结主干、每个任务一套低秩适配器天然满足如果多个任务共用同一份可训练参数就谈不上隔离。适配器有没有做冲突消解任务一多适配器之间会出现语义重叠甚至相互打架。要看有没有路由策略、合并策略或者冲突检测机制而不是简单堆一堆适配器了事。线上分布偏移有没有做监控和回滚模型上线后数据分布会漂移旧任务的表现可能悄悄退化。要有指标监控、灰度发布和快速回滚能力否则离线指标再好看线上也可能翻车。6.1 适配器冲突消解具体怎么做冲突消解听起来抽象落到工程上其实是四层动作从粗到细依次是路由、合并、检测、隔离。第一层路由Route——先保证该用谁就用谁冲突的根源往往是用错了适配器。所以第一件事是把路由做准显式路由请求里带业务标识科室、业务域、租户 ID直接映射到adapter_name最稳、最可控隐式路由请求里没有标识时用一个轻量分类器小模型或规则判断意图再选适配器兜底路由识别不出来就走通用适配器或直接回退基座模型绝不让请求报错。# 路由层显式标识优先其次分类器最后兜底defpick_adapter(request,classifier,known_adapters,fallbackgeneral):ifrequest.deptinknown_adapters:# 1. 显式标识returnrequest.dept predclassifier(request.text)# 2. 意图分类ifpred.confidence0.8andpred.labelinknown_adapters:returnpred.labelreturnfallback# 3. 兜底第二层合并Merge——多个适配器都要用时怎么合当一个请求同时涉及多个领域比如儿科用药对肝肾功能的影响需要同时激活多个适配器。常见做法加权合并把多个 LoRA 的BA低秩增量按权重相加W W Σ w_i · B_i A_iPEFT 里可用add_weighted_adapter实现串行/交替先走 A 适配器再走 B适合有明确先后顺序的场景任务算术Task Arithmetic把适配器当成任务向量做加减用于合并同类任务、抵消冲突方向。frompeftimportPeftModel# 把多个适配器按权重合并成一个组合适配器model.add_weighted_adapter(adapters[pediatrics,pharmacy],# 要合并的适配器weights[0.7,0.3],# 权重主领域高、辅领域低adapter_namepediatrics_pharmacy,# 合并后的新名字combination_typelinear,# 线性加权合并)model.set_adapter(pediatrics_pharmacy)第三层检测Detect——怎么知道它们打架了合并之前要先判断能不能合否则越合越差。可用的检测手段输出一致性检测同一批探针问题分别用 A、B、AB 推理比较答案差异差异过大说明冲突参数相似度计算两个适配器低秩矩阵的余弦相似度方向越接近越容易合并回归测试集每个适配器维护一组能力探针golden set合并后跑一遍看各自领域指标掉没掉。importtorchdefadapter_similarity(adapter_a,adapter_b):粗略衡量两个适配器的方向相似度越接近 1 越容易合并sims[]for(na,pa),(nb,pb)inzip(adapter_a.named_parameters(),adapter_b.named_parameters()):ifpa.shape!pb.shape:continuea,bpa.flatten().float(),pb.flatten().float()sims.append(torch.cosine_similarity(a,b,dim0).item())returnsum(sims)/len(sims)ifsimselse0.0第四层隔离Isolate——实在合不了就分开如果两个适配器冲突严重比如法律和医疗对同一表述的倾向完全相反最稳妥的做法是不合并按请求维度拆实例各自加载各自的适配器物理隔离用支持 per-request adapter 的推理框架如 vLLM 的 multi-LoRA一次前向只挂一个适配器冲突无法调和时宁可多训一个融合适配器也不要在推理时硬拼。一句话总结冲突消解不是某一个算法而是一套流程——先用路由保证选对再用合并处理多领域用检测判断能不能合最后用隔离兜住合不了的情况。面试时能把这四层讲清楚比只答用路由要扎实得多。这四条其实对应了持续学习的两个核心问题参数更新边界前两条和工程可控性后两条。能同时答上来的才算真正理解了持续学习而不只是记住了 EWC 和 LoRA 两个缩写。7. 工程落地为什么实际工作几乎不做全参微调实际工作当中全参数微调基本不会做因为很大概率会遇到灾难性遗忘问题。这很恐怖很有可能一个项目被拖了再拖最后黄了。所以都会选择局部微调比如 LoRA 和 Adapter。模型微调基本集中在这些场景文本提取短文本生成报告格式语气基调实际工作中微调需要考虑成本和效率的天平。所以 LoRA 几乎就是工作中微调大模型的性价比之王。可以理解为在保留预训练模型大量权重矩阵的同时引入低秩矩阵作为适配器这样就能做到有效分离。8. 面试回答得看情况。默认全参微调、不做任何保护那不能——旧数据拿不到比例也调不好。因为全参微调时梯度对所有参数一视同仁不区分哪个对旧任务重要新任务一训就把旧权重冲了这就是灾难性遗忘。但持续学习有两条路EWC 用 Fisher 信息找出关键参数加惩罚项拉住它LoRA 干脆做隔离冻结主干每个任务一套适配器推理时按任务路由互不干扰。两个还能组合EWC 保参数、LoRA 隔任务就能学新的不忘旧的。工程上基本不做全参微调风险太大都是局部微调LoRA 性价比最高。判断方案行不行我就看四点关键参数有没有保护、参数隔离是不是真零干扰、适配器有没有冲突消解、线上分布偏移有没有监控和回滚。追问细节时补一张对比表兜底方案核心思想优点代价数据混合新旧数据一起训实现简单旧数据可能不可得比例难调EWCFisher 信息约束关键参数单模型承载多任务需存重要性权重开销随任务增长LoRA / Adapter参数隔离低秩适配互不干扰成本低需管理多套适配器与路由一句话收尾面试不是回答能不能而是分情况——默认全参微调会让新任务覆盖旧参数、造成灾难性遗忘而 EWC 保护关键参数、LoRA 为每个任务提供独立适配器这套组合配置就能做到持续学习新任务而不忘旧的。判断一个方案好不好就看四点关键参数有没有保护、参数隔离有没有做到零干扰、适配器有没有冲突消解、线上分布偏移有没有监控和回滚。