大模型+LoRA微调：货拉拉同城货运广告文案智能生成实战

货拉拉这种同城货运平台的营销广告跟传统电商广告完全不是一回事。用户没有“逛”的心智打开App就是要搬家、要拉货、要叫车需求来得急、决策时间短、地域属性极强。过去半年我们团队一直在做一件事把大模型引入货拉拉营销广告的生产链路从文案生成、人群语义匹配到投放策略辅助逐步替代过去那套纯模板加人工的粗放打法。这篇文章我会完整复盘这套实践包括业务场景拆解、技术选型逻辑、微调部署的关键参数以及我们踩过的坑和最终的落地效果希望能给正在做类似“行业大模型广告营销”的同学一些实际参考。1. 业务场景拆解货拉拉营销广告的真实痛点1.1 货拉拉的广告场景跟传统电商有什么不一样先说清楚业务背景。货拉拉的广告投放对象严格来说是两个端C端用户和司机师傅。C端用户找搬家、运货、同城配送司机端则是师傅们要找工作单、看接单任务、了解平台政策。这两个人群的诉求差异很大但广告系统过去却用同一套素材模板去覆盖效果自然打折。另一个特点是LBS属性极强。同一个搬家服务广告在北京朝阳区和成都武侯区、在早高峰和凌晨两点用户心里的价格预期和需求紧急性完全不一样。过去模板化广告语“专业搬家、价格透明”走天下实际点击率和转化率都很平庸。再有就是决策时效极短。用户产生搬家需求到打开App下单可能就几分钟。广告必须在极短窗口内命中他的核心顾虑——是怕搬坏家具还是怕临时加价还是怕师傅不靠谱传统人工写素材根本做不到这么细颗粒度大模型天然擅长按人群、按场景、按地域批量生成定制化表达这就是我们决定切入的根本原因。1.2 营销素材生产的三大痛点痛点一创意素材产能不足。运营团队最多一天手工产出几十条文案但广告投放系统在不同的媒体渠道、不同的定向人群组合下每轮测素材可能就要几百条产能缺口非常明显。痛点二文案同质化严重。人工写来写去都是“专业”“靠谱”“低价”缺乏差异化的卖点挖掘用户审美疲劳广告点击率持续走低。痛点三从素材到审核到投放的链路是断的。素材写完要过内容合规审查、要打人群标签、要关联落地页大量环节靠人力搬运出错率高、响应慢。1.3 大模型能切入的三个关键环节我们在第一轮选型时并没有上来就做大而全的“智能营销系统”而是锁定了三个最值得做的场景广告文案与创意素材生成面向不同人群标签批量生成标题、描述、卖点组合。人群语义理解与标签扩展把用户搜索词、行为序列转化为兴趣语义标签补充原有的规则标签体系。数据洞察与投放复盘辅助用大模型解读广告投放数据波动输出归因分析和优化建议辅助运营决策。这三个场景的共同特点是输出模糊但创造性要求高不涉及复杂的实时计算容错空间相对大非常适合大模型落地。2. 技术选型与整体方案设计2.1 基座模型选型开源微调还是闭源API选型是第一个大决策。我们当时评估了三条路纯闭源API调用、开源模型直接推理、开源模型微调后部署。纯API的好处是效果强、接入快但几个关键问题让我们最终没有全量走这条路一是广告素材涉及内部策略和数据出参不能离开业务环境二是高频生成场景下按token计费的成本并不可控三是我们需要模型输出严格符合内部审核规范API模型做指令约束远不如微调来的稳。开源模型这边我们重点测试了Qwen系列和GLM系列。结合多轮评测最终基座锁定了Qwen2.5-7B原因是它在中文表达、指令跟随和性价比三个维度上最均衡7B的参数量在数据安全与推理成本之间也拿到了一个比较好的平衡点。这里有一个重要的经验不要迷信参数越大越好。我们的场景是广告文案生成不是复杂推理7B参数量级完全够用推理速度快、显存占用低后期扩容也轻松。真正决定生成质量下限的是微调数据和Prompt设计的质量。2.2 整体架构生成、审核、投放的三层流水线我们的整体方案是三层流水线架构把大模型能力嵌进去但又不让它直接面对线上用户第一层是生成层。运营配置人群包、场景、卖点关键词由大模型批量生成候选文案与图片知识初期以文案为主。生成过程不是一次就出最终结果而是用“草稿-改写-精简”多轮自校验保证输出的是可以直接用的素材。第二层是审核层。所有生成内容先过规则引擎敏感词、广告法禁用词、行业黑名单再过大模型语义风险识别模块最后人工抽检。广告法合规在投放链路里是不能出半点差错的纯靠大模型审核不靠谱必须规则模型双保险。第三层是投放与回收层。审核通过的素材进入广告投放平台按定向人群匹配分发系统自动回收点击率、转化率、成本数据回流到数据库中。这部分数据既是效果评估的依据也作为后续微调的直接监督信号。整个架构里大模型不是孤立的“问答机器人”而是作为素材生产的核心引擎嵌入业务流。这样设计的好处是每一层的边界清晰出了问题容易定位不会出现那种“AI生成的素材出事了不知道是模型问题、审核问题还是投放问题”的情况。2.3 为什么用LoRA微调而不是全量微调确定要做微调后我们又在LoRA和全量微调之间做了一次对比评估。技术上全量微调的上限更高但有几个现实困难一是7B全量微调的显存和算力成本高二是训练周期长广告素材风格变化快我们希望做到每周甚至每天都能根据投放反馈快速迭代模型全量微调根本周转不过来。LoRA方案的优势非常明显。只训练低秩适配矩阵训练参数量减少到原来的百分之一以下单卡A100就能跑7B模型的微调一次训练耗时从全量微调的十几小时缩短到两三个小时。实测下来在广告文案这种垂直语料上LoRA微调的效果已经能追上全量微调的九成以上个别卖点表达的稳定性甚至因为过拟合风险低而更好。特别注意LoRA的秩rank不是越大越好。我们对比过r8、16、32三组r16效果最佳r32在部分文案上反而出现表达冗余、卖点堆砌的现象。从实操角度建议从小秩开始试以验证集指标为准别盲目堆参数。3. 核心场景实操广告文案智能生成的完整实现3.1 微调数据集准备清洗、打标、配对坦白讲在大模型项目里数据准备花费的时间占了整个项目的60%以上。我们这里也不例外。数据来源主要有四块历史投放效果好的素材库、运营手工撰写的标杆文案、用户反馈中的正向评价文案、以及竞品公开素材仅用于风格参考不直接复用内容。清洗规则值得单独说。第一步是去重不只是文本完全去重还要用SimHash做近似去重把“专业搬家”“搬家专业”这类同义重复也去掉。第二步是过滤凡是带具体承诺、极限词、未核实数据的内容一律剔除宁可少一条数据也不能污染模型。第三步是结构化打标。每一条训练样本最终是这样的JSON结构{ instruction: 为搬家场景生成一条信息流广告文案目标用户为北京租房白领核心卖点是明码标价。, input: , output: 搬家不玩文字游戏每笔费用下单前都算清。北京全城师傅就近接单准时上门大件小件一样搬给你明明白白的搬家体验。 }数据量方面我们最终用了3.2万条高质量样本做微调。这个量级对LoRA来说足够了数据再多如果质量不齐反而容易引入噪声。关键是把指令部分设计得足够多样覆盖不同人群、不同场景、不同卖点的组合让模型真正学会“按条件生成”而不是背范文。3.2 Prompt设计与上下文工程分人群、分场景的指令体系微调模型是的下限Prompt设计决定的是上限。我们基于微调后的模型建立了一套分人群分场景的指令模板体系这是比单纯微调更花心思的部分。人群维度我们拆成几类搬家人群个人、企业货运人群B端、同城配送人群、司机师傅。场景维度拆成拉新、促活、召回、品牌曝光。卖点维度拆成价格、时效、服务保障、师傅质量、平台规模。运行时的Prompt结构大致是这样你是货拉拉营销广告文案专家。请根据以下需求生成文案 - 投放渠道微信朋友圈信息流 - 目标人群25-35岁一线城市租房近期搜索过搬家相关服务 - 营销目标新用户转化 - 核心卖点透明计价、准时上门 - 广告法限制不得出现“最”“第一”“绝对”等极限词 - 文案风格贴近生活口语化控制在40字以内 要求先列出3条候选文案最后推荐1条并说明推荐理由。这套模板的价值在于它把业务知识、合规约束和创作要求都显式地传给了模型生成结果的可控性大幅提升。我们用类似方案在内部落地了十几个不同场景的模板每次生成时按人群标签自动匹配对应的模板不再需要人工逐个指定。实测数据也验证了这套打法引入分场景模板后文案的通过率从61%提升到84%运营二次修改率下降了50%。3.3 LoRA微调与部署的关键参数微调部分我们直接用了HuggingFace的PEFT库在Qwen2.5-7B基座上做LoRA。核心参数我直接列出来供参考参数设置值说明lora_r16低秩矩阵的秩lora_alpha32缩放参数一般取r的2倍lora_dropout0.05防止过拟合target_modulesq_proj, k_proj, v_proj, o_proj只针对注意力层的线性映射learning_rate2e-4LoRA一般比全参微调学习率大一些batch_size16单卡A100 80G可跑到32但16效果更稳num_epochs3更多轮次会导致语言风格固化max_seq_len2048广告文案不需要太长序列部署走的是vLLM这个选择在性能和易用性上都不错。关键配置包括python -m vllm.entrypoints.openai.api_server \ --model /data/model/qwen2.5-7b-lora-merged \ --served-model-name ad-copy-v1 \ --port 8000 \ --max-model-len 4096 \ --gpu-memory-utilization 0.85 \ --tensor-parallel-size 1 \ --enforce-eager--enforce-eager这个参数值得单独说一下。默认情况下vLLM会启用CUDA graph来加速推理但首次运行时要花一点时间做预捕获。在广告文案这种短文本生成场景下CUDA graph带来的收益并不明显我们索性关掉它换来的是部署和热更新的速度更快对实际响应时延几乎没有负面影响。响应时延实测情况单条文案平均生成时间在300毫秒左右并发32路请求时P95时延保持在1秒内完全满足运营批量生成的提效需求。随时更新的需求我们还做了个小优化微调完的新模型会先merge LoRA权重再通过vLLM的滚动加载能力平滑切换做到用户无感升级。整个流程跑下来从运营提出新风格需求到新模型上线只需要半天时间。4. 效果评估、常见问题与踩坑实录4.1 效果评估体系不能只看ROI大模型项目上线后最容易被挑战的问题就是“效果怎么衡量”。我们一开始也犯过错误只盯着投放侧的综合ROI看结果ROI确实涨了但说不清楚是大模型的功劳还是渠道流量波动的功劳。后来我们建立了一套三层评估体系每一层解决不同的问题第一层是生成质量评估。上线前做离线评测用BLEU、ROUGE等指标衡量文本相似度更关键的是人审打分——让运营按“可用性、吸引力、合规性、卖点准确性”四个维度打分。只有人审通过率达到70%以上素材才允许进入投放池。第二层是投放效果评估。同一广告计划、同一预算下大模型生成素材和人工素材同时投放按点击率、转化率、千次展示成本去对比。小流量验证跑一周后再全量放量控制变量一定要干净。第三层是归因分析。通过分组A/B测试确认素材贡献度同时用大模型做数据复盘把效果波动的因素拆成素材变化、渠道变化、时令需求变化三块帮助运营理解数据的真实含义。最终半年的数据表现换过一轮完整素材库后整体广告点击率提升约18%单条素材制作成本下降70%以上素材上线的响应时间从平均一个工作日缩短到半小时内。这些数据不夸张但也不是靠模型单点完成的更多是链路优化后的综合收益。4.2 踩坑实录幻觉、过审与时效性坑一模型幻觉直接输出虚构优惠。早期测试时模型生成过“新用户立减100元”“首单五折”这类平台根本没做过的活动文案审核层能拦一部分规则但拦不住表达方式多样的幻觉。我们的解法是双管齐下一是在Prompt里强约束“只基于给定事实生成禁止编造活动信息”二是在生成层加了一个事实项校验模块把价格、折扣、地域承诺等关键事实与内部配置库做自动比对不一致拦截重写。坑二发际线式的内容擦边问题。广告法合规这类问题比较敏感实际执行中必须严格谨慎。我们的经验是规则引擎用白名单黑名单组合类似底线政策类的表述要纳入专门的校验规则而不是存侥幸心理。大模型自然语言生成能力强偶尔会产出看似合理但实际违规的文案所以合规审核模块在高危文案上宁可误杀也不放过必要时候人工复核安全稳妥是第一位的。坑三时效性数据成为文案硬伤。模型微调时的样本数据里如果带着时间限定比如“六月大促”“暑期特惠”生成时会复读这些旧信息。我们做了一轮彻底的数据清洗把样本里所有时效性内容剥离出来同时在运行时Prompt里显式传入“当前月份”“近期待办活动”等实时字段把时效信息从模型知识里拿走、放到上下文里动态注入。坑四上下文长度受限导致的风格漂移。虽然我们的文案很短但编辑任务重特别是当运营把一篇范文贴到上下文里要求“模仿这个风格写十条”输入长度一涨模型开始出现前后不一致的表达。后来我们限制单次生成批次不超过10条模板中动态内容不超过3个变量风格参考单独用少样本示例控制在一两条以内这个问题基本消失。4.3 常见问题速查与解决清单问题现象根因分析解决方案生成的文案信息重复、结构雷同训练数据多样性不足或LoRA秩太小增加指令模板多样性适当调大r值文案出现编造的促销信息知识幻觉训练数据含虚构示例引入事实校验模块与活动库对齐输出文案常见违规词规则与模型约束不到位增加规则引擎和语义风险识别双重审核模型对新的营销主题不适应微调样本中该主题覆盖太少补充该主题的训练样本做增量微调流式输出时偶发中断并发高或超时配置不合理vLLM增加最大并发数调整超时参数生成风格偶尔漂移不一致Prompt模板中变量过多简化模板控制动态变量数量4.4 后续扩展图片生成、Agent与多模态探索文案这块跑通后我们已经在规划下一阶段的方向。首先是多模态素材生成。大模型可以直接根据广告文案生成对应的图片素材草稿再由设计师做精修把素材生产的全链路时间进一步压缩。这个方向我们还在试目前主要受限于图片风格与品牌调性的对齐问题典型的还需要打磨。其次是Agent化投放助手。把人货场数据、历史投放效果、当前预算状态全部接入让Agent能自动完成生成、审核、投放、数据复盘的全流程闭环。当前阶段的形态是辅助运营做决策后续当模型稳定性足够高、审核机制足够完善后部分常规品类的投放可以逐步走向自动化。最后是按需实时微调。素材风格、用户偏好变化很快我们正在探索在投放效果数据回流后自动触发增量微调的机制让模型生成风格跟着市场反馈走而不是滞后一个月才更新一次。这条路的技术链路已经验证可行剩下的主要是规范化流程和风险控制。5. 最后分享几点实操感受项目走完一轮我个人的体会是大模型在营销广告落地最核心的竞争力不在于模型本身而是围绕模型搭起来的数据、流程和评估体系。同一个基座模型有人做出来是演示Demo有人做出来是稳定产能其间的差距就在这些“看不见”的工程细节里。实际踩过几次坑之后我觉得有三件事是别人最不容易告诉你的第一数据质量再怎么强调都不为过把最优秀素材的筛选和打标标准写好比换一个更大规模的模型更重要第二Prompt模板要留给运营团队做配置化的能力不要写死在代码里因为业务改得比你想象的快得多第三评估体系必须前置别等模型上线了才回头补评估方案那会儿你已经说不清效果好坏的原因了。还有一个很多人忽略的小技巧LoRA微调后一定要做模型合并和量化再部署。合并权重后可以用INT8或者更激进的INT4量化做推理显存占用量直接降一半以上批量生成吞吐量提升明显而文案生成这种任务对量化带来的精度损失完全不敏感。这一项优化直接省了我们一台推理服务器的成本。