大模型微调到本地部署：基于Qwen2.5的制度条例AI智能体实战

最近不少朋友跑来问我老黄NVIDIA CEO黄仁勋在公开场合反复强调“数据中心还在热销”这事跟普通做应用的人到底有什么关系。我的观点是关系很大。数据中心热销只是外壳内核是AI算力开始大规模供给而算力一旦供得上大家关心的问题自然就从“怎么训练大模型”变成了“怎么把大模型用起来”。我自己最近在做的“制度条例学习助手”项目正好走完了大模型微调、本地部署、再接入AI智能体应用的全链路。这篇文章就把我的完整实操过程、参数选择、踩坑记录和工作流设计分享出来希望能帮到正在折腾大模型微调和部署、或者想在企业内部落地AI智能体的朋友。我用的基座模型是Qwen2.5-7B整套方法不挑具体业务你把“制度条例”换成“产品说明书”“客服话术”“行业规范”都能复用。1. 数据中心热销背后真正被推热的其实是“落地”1.1 算力供给方式变了开发者的任务也变了数据中心热销这个信号表面看是“NVIDIA的加速卡卖得好”本质上说明AI算力正在从一个稀缺资源变成一种可以按需获取的基础设施。以前我们聊训练大模型第一反应是“要先搞到集群”预算动辄几十万上百万现在云厂商和数据中心把GPU集中起来按小时租给有需求的公司个人开发者也能拿到可用的算力。这个变化带来的连锁反应很有意思。当算力不再是最难获取的资源行业的瓶颈就转移到了“怎么把模型用到具体业务里”。我自己感知特别明显最近半年身边朋友问我的问题已经从“我要不要训一个大模型”变成了“我要不要微调一下开源模型”“怎么部署到公司内部”“能不能做个AI智能体帮我们处理制度查询”。这说明大家默认模型能力够用缺的是落地方法。1.2 微调部署的门槛比我预想的低很多真正推热“大模型落地”的不只是算力供给还有一整套开源工具的成熟。我用一台RTX 4090做实验24GB显存微调7B量级的模型完全够用甚至16GB显存的卡配合4bit量化也能跑起来。我做了一个对照表方便你感受一下门槛变化环节过去现在硬件A100集群预算几十万单张消费级显卡即可做Lora微调训练框架自己写训练循环LLaMA-Factory等一键式工具部署方案Kubernetes多机推理Ollama、vLLM单机服务化数据准备人工标注大量原始数据用脚本配合大模型半自动清洗生成API对接私有协议二次开发成本高OpenAI兼容API生态直接复用门槛降了但没降到零。我踩完一遍后最大的感受是最花时间的根本不是训练而是数据清洗和部署调优。这俩才是新手和老手拉开差距的地方。1.3 我的项目背景为什么必须私有化微调这次项目的需求很具体公司想把员工手册、保密条例、财务报销制度、休假规定这些内容做成一个智能体员工直接问自然语言它给出准确答案。听起来不复杂但有几个硬约束。第一这些制度内容属于公司内部资料不能直接传到公有云的大模型对话接口里数据合规这一关就过不去。第二通用大模型完全不了解公司内部条款拿“骨干员工年假天数怎么算”这种问题去问它给出的回答往往来自互联网通用知识看起来没错但和公司实际制度对不上。第三我们希望能有稳定的API接口后续能嵌入企业微信、内部OA这类系统不能每次都在别人的网页里手动问。这三个约束叠加下来唯一合理的路线就是拿着开源的Qwen2.5-7B基座模型在内部环境完成微调再部署成自有服务最后接入智能体工作流。整条链路其实是现在企业内部做AI应用很典型的路径。2. 动手之前先把“微调”这件事看清楚2.1 微调不是万能的先搞清楚你要解决什么问题很多同学一上来就想微调但微调不是“给模型塞知识”的万能药。根据我的经验需求要拆成三类看知识注入型模型需要知道一个事实比如“公司差旅交通费报销上限是多少”。这类问题更适合用RAG检索增强生成解决把制度文档切片存进向量库提问时检索相关内容拼进提示词让模型照着说就行。能力对齐型模型需要学会一种行为比如“面对不知道的问题主动承认不知道”“输出必须带条款编号”“语气要简短专业”。这类需求靠微调效果好因为模型学的是输出方式不是某个孤立句子。风格转换型比如把口语化提问改成标准话术回复或者把长段制度原文提炼成QA。这类需求微调和RAG可以结合使用。我这个制度条例学习助手本质上三类都沾一点。制度事实类知识主要靠RAG检索保证准确度但模型回答制度问题时必须保持固定格式、带上条款来源、拒绝无关话题这部分是靠微调“驯化”出来的。2.2 Lora与全参微调的成本差异微调方案我直接选了Lora原因很实际全参微调在消费级显卡上根本跑不动。7B模型以FP16加载光权重就要约14GB显存训练还要额外分配梯度和优化器状态没有80GB以上显存很难舒服地全参微调。Lora的做法是把原始模型权重冻结住在旁边额外挂几组低秩矩阵训练时只更新这几个小矩阵。你可以把它理解成——不想重新装修整栋楼就买几张墙贴改造重点房间。效果接近成本却差很多。我做了一个简单对比方案可训练参数显存需求效果适用场景全参微调100%极高多卡集群上限最高数据量大、有集群资源Lora微调约1%-2%中等24GB可跑7B接近全参大多数垂直场景QLora微调约1%-2%低16GB可跑7B略低于Lora显存不足时的好选择我这次用的是QLora也就是在Lora基础上再把基座模型量化到4bit进一步降低显存占用。效果会有轻微损失但24GB显卡上跑7B模型很从容。如果你用的是RX 6750GRE这类A卡建议先跑小规模实验确认PyTorch和ROCm这些依赖在Linux环境下的可用性再考虑完整微调N卡在同成本下省心很多。2.3 选基座模型为什么我选了Qwen2.5-7B市面上开源基座模型不少选型时我只看四件事中文能力、开源协议、生态支持、跑得动。Qwen2.5-7B在这四项上比较均衡。中文理解能力在开源阵营里属于第一梯队阿里开源协议对商业使用比较友好社区资料、量化工具、推理框架的支持都很齐全。同样的显存预算下如果选Llama系模型中文效果会明显打折扣如果选更大的14B或32B模型消费级显卡又跑不动只能上云又牵扯数据合规问题。如果你是做通用助手Qwen2.5-7B起步是好的选择如果显存只有16GB可以退到Qwen2.5-3B验证链路等逻辑全部跑通后再换大模型。记住一个原则先选“能跑起来的最小模型”把全链路打通再评估要不要升级而不是一上来就挑战极限。3. 微调前的三件套环境、数据、模板3.1 环境配置清单与常见报错环境这关看似简单实际劝退了很多人。我这次用的组合是Python 3.10 PyTorch 2.1 CUDA 12.1 LLaMA-Factory。LLaMA-Factory是目前微调社区里集成度最高的工具之一支持Qwen系列、Llama系列等主流模型也能直接管理数据集和训练参数。安装流程很简单conda create -n llama-factory python3.10 conda activate llama-factory git clone https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory pip install -e .[torch]这里有个很容易踩的坑不要自己另装一个最新版transformers。LLaMA-Factory对transformers版本有兼容性要求版本太新可能出现tokenizer加载报错或者pad_token_id为空的问题。用pip install -e .[torch]默认装好的依赖版本是最稳的。另外训练前务必确认CUDA版本匹配在终端里跑nvidia-smi看驱动支持的CUDA版本再在Python里跑torch.cuda.is_available()确认PyTorch能识别GPU。好多人在这一步不检查直接开训结果训练日志里显示用的是CPU速度慢到怀疑人生。3.2 把制度条例文本变成训练数据数据准备是整个微调流程里最耗时的环节没有之一。我的训练数据是从公司制度文档里整理的原始格式有Word和PDF第一步是转成纯文本再按章节拆分成片段最后转成问答对。LLaMA-Factory默认支持两种数据格式alpaca格式和sharegpt格式。我这次用的是alpaca格式结构很直观[ { instruction: 员工差旅费报销需要提交哪些材料, input: , output: 根据《财务报销管理制度》第三章第5条差旅费报销需提交行程单、发票原件及审批通过的出差申请单。 }, { instruction: 新员工入职需要参加哪些培训, input: , output: 新员工需参加入职培训、保密制度培训和业务规范培训具体时间由人力资源部另行通知。 } ]看起来简单但生成这批数据是有技巧的。制度文档是描述性文本不会自己变成一问一答。我的做法是先让通用大模型根据制度片段批量生成候选问答对生成完之后人工逐条校对把错误的、表述不清的、重复的删掉。最终我保留了300条左右的高质量数据实测效果已经足够出来一个像模像样的助手。数据质量比数量重要500条精心校对的问答效果远好于2000条自动生成的噪音数据。3.3 对话模板为什么不能乱改这是微调新手最容易忽视的细节。Qwen系列模型用的是chatml对话模板训练时模板字段必须设置成qwen。如果模板设错模型在训练时学到的对话结构就是乱的推理时输出会莫名其妙带上|im_start|这类格式标记甚至直接崩坏出乱码。我第一轮微调没注意模板用的默认模板训练完成测试时才发现模型每句话开头都带一段|im_start|system这样的标签。当时排查了很久最后把训练配置里的template参数改成qwen重跑问题立刻消失。别小看这一点数据格式、模板、分词器三者必须对齐这属于微调的底层基础设施。4. 跑通一次Lora微调“制度条例学习助手”实战记录4.1 Lora训练参数如何设置训练参数不是照抄别人的就完事每个项目数据量和基座模型都不一样需要自己微调。我的初始配置是这样参数推荐值说明per_device_train_batch_size2单卡显存不够时可降为1gradient_accumulation_steps4等效batch size8learning_rate2e-4Lora微调常用区间num_train_epochs2-3数据少时更不宜多lora_rank8秩越高表达能力越强但显存也更紧张lora_alpha16一般取rank的2倍max_seq_length2048按实际问答长度调整这里解释一下learning_rate为什么是2e-4。全参微调一般用1e-5或更小但Lora只训练少量新增参数学习率可以适当调高太小会收敛慢太大会让训练震荡。另外num_train_epochs不要设太大7B模型很容易过拟合出现过拟合的表现是训练集loss持续下降但测试时回答僵化、复读甚至把训练数据里的句子原样吐出来。LLaMA-Factory的命令行方式训练代码我贴在下面方便你复现llamafactory-cli train \ --model_name_or_path Qwen/Qwen2.5-7B \ --dataset_dir data \ --dataset sft_data \ --template qwen \ --finetuning_type lora \ --quantization_bit 4 \ --output_dir qwen7b-helper-lora \ --per_device_train_batch_size 2 \ --gradient_accumulation_steps 4 \ --learning_rate 2e-4 \ --num_train_epochs 2 \ --max_seq_length 20484.2 训练过程中关注什么训练日志里最值得盯的是loss值。我这次训练loss基本在2.5附近起步逐步降到1.2左右就稳定下来了。如果你看到loss不降先别急着调参回头检查两件事数据里有没有大量重复内容和错误标签学习率是不是设得过大或过小。训练时长上一张RTX 4090跑7B模型、300条数据、2个epoch大概需要1到2小时。这个速度完全可接受所以一次跑一组参数对比实验并不奢侈。建议每轮训练都保存checkpoint不要只保存最终模型后面想对比不同轮次效果会方便很多。4.3 合并导出模型Lora训练完得到的模型文件里只有一个很小的adapter文件夹里面存的是训练出来的低秩矩阵真正的大模型权重还在原始基座里。推理部署前需要把这两部分合并。LLaMA-Factory提供了导出能力我用的合并命令大致是这样llamafactory-cli export \ --model_name_or_path Qwen/Qwen2.5-7B \ --adapter_name_or_path qwen7b-helper-lora \ --template qwen \ --finetuning_type lora \ --export_dir qwen7b-helper-merged \ --export_size 4 \ --export_legacy_format false合并完成之后一定要先测试再部署。我的习惯是直接写几个制度问答的测试用例跑一遍如果某个问题回答明显胡扯优先怀疑训练数据不够或模板配置有误这时候回炉比在部署阶段调试效率高得多。5. 部署模型文件变成能响应的服务5.1 推理框架选型模型合并完成之后下一件事是部署成服务。部署方案没有绝对最佳只有最合适。我把主流方案放在一起做了个对比框架适合场景并发能力上手难度备注Ollama本地快速验证、开发机中等极低自带量化管理跨平台vLLM生产服务、高并发API高中等PagedAttention显存优化OpenAI兼容llama.cpp边缘设备、低资源环境低中等以GGUF量化为主我这次部署分两个阶段。第一阶段先用Ollama快速验证效果把合并后的模型转成GGUF格式写一个Modelfile就能跑起来。第二阶段考虑到后续要接入企业OA和AI智能体应用并发会高起来我改用vLLM部署标准API。5.2 用vLLM部署OpenAI兼容APIvLLM部署非常方便一条命令就能把模型起成服务vllm serve ./qwen7b-helper-merged \ --served-model-name company-helper \ --port 8000 \ --max-model-len 4096服务起来之后默认提供一个OpenAI兼容接口这意味着任何原生支持OpenAI API的SDK都能直接改一下base_url接进来Agent工作流、企业微信机器人、内部工具都能快速对接。Python调用示例from openai import OpenAI client OpenAI( base_urlhttp://localhost:8000/v1, api_keyEMPTY ) resp client.chat.completions.create( modelcompany-helper, messages[ {role: user, content: 员工差旅费报销需要提交哪些材料} ], temperature0.3, max_tokens512 ) print(resp.choices[0].message.content)为什么要强调OpenAI兼容API因为现在AI智能体生态包括各类应用编排工具默认都认这一套协议你的模型只要能兼容它就能无缝接入生态里的轮子不用自己造。5.3 部署中常见的性能坑部署这个环节我踩了不少坑挑几个有代表性的说说。第一显存不够怎么办。模型是FP16加载的7B模型大约占14GB如果你只有16GB显存部署时很可能OOM。解决办法是量化用bitsandbytes跑4bit加载或者转成GGUF格式配不同量化级别。我实践下来4bit量化在制度问答这种场景下效果损失可以接受部署成本大幅降低。第二首token延迟高。vLLM默认为了吞吐会拉大batch如果并发请求不多反而会感觉响应慢。这时候可以调低--max-num-batched-tokens或者干脆在客户端启用流式输出这样首字出现的速度会明显变快。实测下来制度问答这种场景首token在800ms以内体感是流畅的。第三GPU利用率低。部署完发现GPU利用率只有20%左右别急着怪框架。常见原因是序列长度差异大导致显存碎片化或者CPU端数据预处理成了瓶颈。先检查请求里的max_tokens和max_model_len设置再考虑是不是需要开--enforce-eager减少显存预留。6. 从微调模型到AI智能体一套能跑通的协作方式6.1 AI智能体到底是个什么东西模型部署好了但它只是一个“能回答问题的大脑”不是完整的应用。AI智能体是在模型外面再加三层东西工具调用能力、记忆状态、工作流编排。我用一句话向客户解释模型是员工智能体是给这个员工配了电脑、电话和SOP流程。模型负责理解问题和生成内容智能体负责决定“什么时候用什么工具、搜索什么资料、把结果怎么拼给用户”。法律、制度、企业问答这类场景纯靠模型硬答容易翻车配一个检索步骤能让准确率提高一个档次。6.2 制度条例学习助手的Agent工作流搭建我在这个项目里搭的工作流核心分四步用户问题进入后先做意图识别。问制度类问题走检索分支问别的走闲聊分支。制度类问题先交给知识库检索节点从向量库里找出最相关的制度条款片段。把检索到的条款片段、用户问题、系统提示词拼接起来交给微调后的模型统一生成答案。模型输出答案的同时强制带上引用的条款编号保证回答有据可查。这个流程既可以用大模型平台上现成的智能体工作流工具搭建比如在AI Studio上拖节点编排也可以自己在后端用Python写一个路由函数串联。我的建议是如果只是想快速验证方案用可视化编排工具半天就能搭出来如果要上生产环境那就自己写可控性高很多。6.3 实际效果与调优心得如何减少幻觉模型微调得再好面对制度问答时仍存在“一本正经胡说八道”的可能。我实测下来有三招特别管用。第一让模型只依据检索结果作答。我在系统提示词里明确写“你只能根据给定的文档内容回答如果文档里没有请直接回答不知道。”配上微调强化模型基本就老实了。第二输出必须带引用来源。训练数据的output里每条都写“根据《XXX》第X条……”模型慢慢就学会了这种输出格式而有了来源员工也更愿意信任这个助手。第三设置保守开关。遇到极端模糊的问题宁可回答“这个情况需要咨询人力资源部”也不要强行给一个基于常识猜测的答案。制度类场景准确永远第一。我实测一条问答效果用户问“新员工的年假怎么算”微调后的模型能回答“根据《员工休假管理办法》第二章第4条新员工入职当年年假天数按剩余日历天数折算具体请以人力资源系统审批结果为准。”这就是我想要的效果。最后再分享一点个人体会。整个项目做下来我最深的感觉是能检索解决的事别急着微调微调要小步快跑先200条数据验证流程再决定要不要扩数据部署优先选OpenAI兼容方案后面接什么都会很顺。很多人一上来就纠结要不要上70B模型其实在一个具体场景里7B微调加部署加智能体工作流跑通已经能解决大部分实际问题。这件事最怕的不是模型不够大而是链路没跑通就放弃。