AI工程从零开始：手写GPT到RAG与量化部署的完整路线

你拿到一个项目名叫“ai-engineering-from-scratch”。先别急着当成又一门“三个月精通大模型”的网课标题我刚看到这串词的时候第一反应是终于有人把“从零开始”和“工程”这两个词放在一起了。太多人学AI是从论文和公式开始的学完一肚子理论却连一个能跑通的模型都拿不出来也有太多人是从安装包开始的pip装了一堆库跑通一个demo就以为自己会了一遇到数据变了、显存不够、部署到线上就崩直接不知道怎么排查。这篇文章要讲的是我自己踩过几年坑之后整理出来的一条最小可行路径从Python和PyTorch起步手写一个极简GPT再走完微调、RAG、量化部署、评估迭代的完整链路。适合三种人想转行做AI工程但不知道怎么下手的在校生想在大模型方向做点实在项目的以及已经有点后端经验、想搞懂大模型服务内部原理的开发者。下面每一章都是可以直接照着做的不是励志鸡汤。1. 先搞明白AI工程到底在做什么1.1 一个AI项目的完整链路从论文到API很多人以为AI工程就是“训练模型”实际上训练只是中间一小段。我习惯把一个完整的AI项目拆成七段业务定义、数据工程、模型选型、训练微调、评测回归、推理部署、线上监控。这七段缺一环项目都落不了地。先说业务定义。你要搞清楚这个模型到底是用来干嘛的是给客服做助手、给文档做问答、给代码做补全还是生成营销文案。业务定义决定了后面所有技术选型。我曾经见过一个团队花了两个月微调一个13B模型做客服最后发现他们根本不需要那么大的模型因为用户问题高度集中在几十个FAQ上一个检索系统加GPT-4的调用就够了。这就是典型的技术驱动而非业务驱动的失败案例。然后是数据工程。大模型项目里有一句老话数据决定上限模型只是逼近上限。数据清洗、去重、格式转换、质量过滤往往占掉整个项目50%以上的时间。再往后才是模型选型是直接用开源模型还是要微调要不要上RAG基座选7B还是13B这些问题在动手之前就要想清楚不是等训练出问题再回头补。训练微调和部署是我后面重点讲的部分。这里先提醒一句线上监控特别容易被忽略。模型上线之后输入分布会漂移用户会问出你训练时完全没见过的问题推理服务的延迟和错误率也会波动。没有监控你等于在盲飞。所以我带团队做项目第一条规矩就是上线前必须把输入日志、输出日志、token消耗、延迟分位数、错误率这五类指标先留好接口。1.2 “from scratch”不等于“从数学三件套开始”“从零开始”这四个字误导过太多人。很多人一听到AI工程就以为必须先啃完线性代数、概率论、微积分再手推一遍Transformer论文里的每一个公式然后才有资格碰代码。我可以用亲身经历告诉你这不是唯一的路而且对大多数人来说不是最优的路。我自己的学习曲线是这样的先会写Python然后直接上手PyTorch用别人的预训练模型改demo跑通了才回头补矩阵乘法和反向传播的直觉。后来为了看懂loss曲线为什么一直不降才又回去翻概率统计。这个顺序走下来学习动力是一直在线的因为每补一块数学都能立刻解释一个我碰到的实际问题而不是学了一堆公式却不知道有什么用。所以我说“from scratch”指的是你最终能从零搭起一条AI应用链路而不是从零推演一遍数学原理。这两者的差别很大。前者要的是工程能力后者是研究员的路。如果你不是立志要发明新架构完全可以用“够用就能动手动了手再补课”的方式来学。后面第2章就是我建议的最少必要知识清单。1.3 适合谁、需要多久这份路线不是写给所有人的。如果你是做AI前沿算法研究、要发论文的那确实得靠数学和论文堆不是我看的路。但如果你是想把大模型用起来、做出一个能跑通的产品或者想进公司做AI应用方向的工程岗这条路就是为你准备的。按每天投入两小时来算我建议的时间预期是四到六个月。第一个月搞定Python、PyTorch和Transformer的基本原理目标是能跑通别人写的训练脚本第二到第三个月手写一个极简GPT并完成一次微调实验同时把RAG链路搭起来第四个月到第六个月做部署优化和评估迭代最终完成一个端到端的小项目。我见过有人用这个节奏三个月就能独立做一个基于开源模型的知识库问答系统完全不上培训班就靠官方文档加社区资料。这里先给大家一张路线图后面每一章都会展开讲关键节点阶段核心产出预计周期1. 环境与语言能跑通PyTorch训练脚本2周2. 模型原理写一个能生成文本的极简GPT4-6周3. 微调实验在领域数据上完成一次LoRA微调3-4周4. 知识增强搭好RAG问答服务2-3周5. 部署与评估上线API并建立评估集3-4周2. 地基阶段没有想象中那么高2.1 Python和数据处理先过动手关AI工程每天写的最多的不是模型代码而是脏活累活清洗数据、合并字段、处理NaN、把JSON转成训练格式、统计分布。这些活儿用的都是Python最基础的语法外加numpy和pandas。很多人一上来就啃PyTorch的源码结果连DataLoader里的collate_fn都看不懂那其实不是模型难是Python基础没打牢。我的建议很简单学Python就抓几个点列表推导式、字典操作、函数式编程的map/filter/lambda、生成器、文件读写会这些已经能处理90%的数据问题。numpy重点学广播机制和索引pandas重点学会groupby、merge、apply三件套就够用了。不要去刷那种“300道Python面试题”事倍功半直接拿真实数据练手才是最快的。数据处理里有个大部分人都会踩的坑直接用原始文本训练忘了做质量过滤。我从HuggingFace上下载过不少中文数据集里面重复样本、乱码、简繁体混杂的问题非常严重。后来我总结了一套最低配置长度过滤太短的去掉、完全重复去重、按规则清理HTML标签和异常字符、再做一次困惑度过滤用现成模型打分去掉异常高分或低分的。这套下来数据量通常能少掉30%但训练效果反而明显变好。记住不要迷信数据量要迷信干净的数据量。2.2 数学只学四件套数学不是不用学是别当饭吃。我推荐所有从零开始的人只学四块线性代数里的矩阵乘法和向量点积概率统计里的分布和最大似然信息论里的熵和交叉熵微积分里的链式法则和梯度含义。这四块已经能覆盖你理解Transformer和训练流程90%的需要。打个比方矩阵乘法其实就是在批量计算“两两有多像”向量的点积就是“打分”。注意力机制里的Q和K相乘本质就是查询向量和每个位置的键向量做一个点积看哪个位置和当前查询最相关。概率统计里的交叉熵通俗理解就是“模型对真实答案感到多惊讶”惊讶度越高损失越大训练就是不断降低惊讶度。微积分里的链式法则就是反向传播的理论基础从最后的loss开始一层一层往前算梯度然后更新权重。你不需要会证明定理但要有物理直觉。学的时候用一种“够用”的心态公式看不懂就跳过推导先看它输入输出是什么。等到代码里调参发现问题了再回来看公式这时候你会发现那些抽象符号全都有了具体的对象理解速度比死磕教科书快得多。2.3 环境配置GPU与CUDA实操环境配置是劝退新人的第一座山但我可以告诉你跨过去之后真的就再也不会怕了。第一步是确定你有NVIDIA显卡因为目前几乎所有主流深度学习框架对CUDA的支持最好。如果你只有Mac或者CPU机器不是不能学但建议先租云GPU按小时计费一天几块钱到几十块钱不等比自己买划算关键是坏了随时重建环境。装环境我用的是Anaconda加PyTorch官方命令。尽量别直接pip install torch因为CPU版本和GPU版本装错了性能差几十倍。正确做法是去PyTorch官网选择自己的CUDA版本把对应命令复制装好比如conda install pytorch pytorch-cuda12.1这样的。装完之后用一行命令验证GPU可用性import torch print(torch.__version__) print(torch.cuda.is_available()) print(torch.cuda.get_device_name(0))只要输出的是True和你的显卡型号就说明环境通了。接下来要养成一个习惯时刻观察显存占用。我用一个小脚本在训练时每隔几秒打印torch.cuda.memory_allocated()和reserved判断是不是有显存泄漏。OOM显存溢出是新手遇到最多的运行时报错解决办法一般是四个方向减小batch_size、减小序列长度、开启梯度累积、用混合精度。先调batch_size这是最快的。3. 理解大语言模型核心知识拆解3.1 Tokenizer语言如何变成数字很多人看大模型代码第一个卡住的地方就是tokenizer因为模型输入并不是“单词”而是“token”。我来把这件事讲透。计算机处理不了字符串必须把文本转成整数。最简单的方法是每个词一个编号但这样生僻词和变形词会爆炸。于是就有了BPE字节对编码这类算法先把所有字符拆散再不断合并出现频率最高的相邻字符对最终形成一套词表。举个例子你有一句话“我喜欢AI工程”BPE会先把它拆成一个个字符然后统计哪些相邻字符对出现频率高比如“工程”“喜欢”这种高频组合会被合并成token而“A”“I”这种低频片段可能还是分开的。这样做的结果是常见词用单个token表示罕见词用多token组合表示词表大小控制在几万级别就可以覆盖绝大多数文本。如果你用的是中文还有一个细节要特别留意中文不像英文天然由空格分词同一个HuggingFace基座模型对中文的tokenizer分词效果可能差异很大。一个中文字符有时候是一个token有时候会被拆成多个这直接影响模型能处理的文本长度和成本。我判断一个tokenizer适不适合中文会直接跑一句中文检测统计token数量和各token的还原情况。同一个句子不同tokenizer能差出30%以上的token消耗长期使用下来成本差异非常明显。3.2 从词向量到注意力Transformer全部要点你要是在网上搜“Transformer 图解”能搜出一堆花里胡哨的教程但核心其实就一句话每一层都在做信息混合让每个位置学会根据上下文调整自己的表示。具体来说有几个关键子模块。Token embedding把离散的token编号变成连续向量这是模型“认识字”的方式。位置编码解决顺序问题因为注意力本身不关心词序你把它打乱或者把顺序反过来它输出的结果是一模一样的所以必须额外注入位置信息。Self-attention也就是自注意力是Transformer的灵魂每个token都要和其他所有token计算相似度然后按相似度加权聚合信息。我常跟人打比方这就是一个动态检索过程当前token是查询query其他token是候选key相似度归一化后就是权重然后用权重加权value得到新的表示。多头注意力可以理解为把同样的机制做多次每一次用不同的投影矩阵这样模型能在不同的子空间里获取不同维度的关系。残差连接和LayerNorm是训练稳定的关键没有它们深层网络很容易梯度消失或炸掉。前馈网络FFN就是每个位置的token再做一次非线性变换相当于给模型增加表达能力的“思考层”。说到这里你可能会觉得东西很多。实际上你不需要真的手写所有细节但一定要看一遍别人写的源码。我最推荐的方式是用PyTorch复刻一个极简TransformerBlock大概几十行代码能跑通就行。代码写着写着你就会发现原来K、Q、V不过是几个线性层原来mask就是让某些位置在softmax之前被设成负无穷。这个“原来如此”的经验是无价的。3.3 训练目标next token prediction大语言模型的训练目标简单到让你难以置信给定前文预测下一个token。就这么一个目标通过海量的互联网文本反复训练模型学会了语法、事实、推理的第一步甚至很多让人惊艳的能力都是从这个看似简单的目标里涌现出来的。这个目标在数学上就是最大化下一个token的概率也就是用交叉熵作为损失函数。你不用一上来就理解所有细节只要知道两件事第一模型的输出是一张概率表表示下一个token是词表里每个词的概率第二训练时我们会拿模型预测的概率和真实下一个token做对比真实token对应的概率越高loss越低通过反向传播去调整所有模型参数。训练阶段还有个概念叫困惑度perplexity它是交叉熵的指数形式可以直观理解为“模型平均在多少个词之间犹豫”。困惑度降到10意味着模型平均在10个候选词里选一个降到2就意味着它已经非常有把握了。这个指标不能一味追求越低越好降到极低往往意味着模型已经把训练数据背书背下来了在验证集上反而会升高这就是过拟合的信号。3.4 从零写一个极简GPT到了动手环节很多人的问题不是看不懂原理而是不知道从哪里开始写。我给一个最落地的方式不用管参数量也不用人人都去复刻GPT-2直接写一个几百万参数的mini GPT在几十万字的小语料上训练目标是让它生成出像模像样的短文本。核心代码骨架大概是这样的import torch import torch.nn as nn class MiniGPT(nn.Module): def __init__(self, vocab_size, n_embd, n_head, n_layer, block_size): super().__init__() self.token_embedding nn.Embedding(vocab_size, n_embd) self.position_embedding nn.Embedding(block_size, n_embd) self.blocks nn.Sequential(*[ TransformerBlock(n_embd, n_head, block_size) for _ in range(n_layer) ]) self.ln_f nn.LayerNorm(n_embd) self.lm_head nn.Linear(n_embd, vocab_size) def forward(self, idx): B, T idx.shape tok_emb self.token_embedding(idx) pos_emb self.position_embedding(torch.arange(T, deviceidx.device)) x tok_emb pos_emb x self.blocks(x) x self.ln_f(x) return self.lm_head(x)实际训练时把语料分成长度固定的文本块比如每块512个token构造输入和标签。这里有个经典技巧输入是第1到第511个token标签是第2到第512个token这样每个位置都有一个预测目标。训练几个epoch之后你就能看到loss从一开头的八九降下去然后模型开始生成通顺的小短句。我第一次看到自己写的模型生成出“猫坐在桌子上”这种句子的时候那种兴奋感至今记得。这比直接调用现成大模型API完全不一样因为你真的看到了每一层运作的结果。4. 工程落地从训练到部署的全流程实操4.1 微调的正确打开方式模型从零预训练的成本极高不是个人和普通团队能承担的所以实际工程里我们绝大多数时候在做微调。微调分两种全参微调就是把基座模型的所有参数都继续训练效果好但显存高、成本大参数高效微调则只训练一小部分参数比如LoRA是目前最主流的选择。LoRA的原理我尽量讲得直白它不改原模型的权重而是在每一层旁边加两条小的低秩矩阵训练的时候只更新这两个小矩阵。最终生效的权重是“原始权重加增量”所以LoRA训练完得到的通常是一个几百MB甚至几十MB的小文件部署时可以合并回原模型也可以单独加载。我用一个小型7B模型做过测试显存消耗大约比全参微调少一半以上而且效果在很多任务上几乎打平全参微调。实操上数据集格式要先用对。现在最通用的对话微调格式是Alpaca格式每个样本包含instruction、input、output三个字段然后用模板拼成完整对话文本。训练超参的起点我做了一个推荐配置适合在单张24G显存显卡上微调7B模型LoRA的rank取8到32alpha取rank的两倍左右学习率取2e-4的量级batch大小看显存决定一般用梯度累积保证等效batch_size达到64。训练轮数不要贪多对话类任务2到3个epoch就够跑多了过拟合风险极高。4.2 RAG给模型接上外部知识库微调解决的是模型“说话风格和能力方向”的问题但它有一个绕不过去的痛点训练时学到的知识是有时间截止点的而且很多私有业务知识根本不在预训练数据里。这时候要上RAG也就是检索增强生成。RAG的完整链路分成两大块离线的知识库构建和在线的检索问答。离线的部分先把文档切成固定长度的chunk比如每段200到500个字用向量模型把每段文本embedding成一个向量写入向量数据库。在线的部分把用户问题也向量化去数据库里做相似度检索取最相关的前k段把这些段落作为上下文拼进prompt再让大模型基于上下文回答。这里最容易踩的坑是chunk切分太粗暴。我见过同事按固定字符数硬切结果一句话被拦腰截断导致检索回来的上下文语义残缺。更好的做法是按标题、段落、句子层级切尽量保留语义完整性并适当做重叠比如相邻chunk留50字的重叠带。向量模型的选择也很影响效果中文场景建议直接用m3e、bge这类中文向量模型而不是拿英文的通用模型硬跑。检索出来之后还有个经常被忽略的环节重排rerank。向量检索是第一轮粗筛召回两三倍于最终数量的候选再拿rerank模型做一次精排。你在实际体验中会觉得线上问答回答得准不准很多时候不是大模型不行而是检索环节把错误文档给到了大模型。所以我常说RAG项目的调优重心八成在检索只有两成在生成很多人正好搞反了。4.3 推理与部署优化模型训练好之后不能只在Jupyter Notebook里演示要真正部署成API供业务调用。这一步也有大学问。最原生的做法是直接加载模型pipeline模式跑推理优点是简单缺点是慢。为了让推理变快业界有一套组合拳第一是量化把模型权重从FP16压到INT8甚至INT4显存占用可以砍掉一大截推理速度也能提升代价是精度轻微下降第二是静态形状和连续批处理把不同的请求合并成连续批次一起计算吞吐量成倍提升第三是用专门优化过的推理框架。现在社区最常用的推理框架是vLLM和TGI。vLLM最大的亮点是PagedAttention简单理解就是像操作系统管理内存那样管理KV缓存显存利用率大幅提升。我实际测试下来在同样的显卡上vLLM能把吞吐量做到原生PyTorch推理的几倍到十几倍而且支持OpenAI兼容的API格式客户端代码几乎不用改就能接进来。部署时的模型导出也值得说一句。如果是走HF生态直接用safetensors格式如果要用ONNX Runtime或Triton就需要导成onnx或tensorrt格式。我的建议是先别追求花哨优化第一步先用vLLM把模型跑起来配合Docker固定环境和依赖版本再考虑进一步用INT4量化。只要你用的显卡支持这套方案基本是当下性价比最高的一个部署路线。4.4 实验管理与评估做AI工程最怕的是什么是实验不可复现、评估靠感觉。我自己早期就干过这种事改了个prompt觉得回答变好了就上线了结果线上一测负反馈飙升。后来我才知道没有评估集就做“改进”等于闭着眼睛开车。所以无论如何要在项目第一天就建立评估集。一个标准的评估集至少要覆盖三类样本核心业务场景样本、边界情况样本、已知失败样本。规模可以不大几百条就够用但必须把这些样本的期望输出写清楚。每次模型改动、prompt改动、检索链路改动都在这个固定评估集上跑一遍记录指标变化。指标怎么选如果是生成任务BLEU、ROUGE这类传统指标和优化目标的关联并不是很紧密现在很多人直接用一个大模型当裁判对生成结果打分也就是所谓LLM-as-a-judge。我自己的做法是两者结合自动跑一批客观指标同时每天抽看50条人工评价记录一个二进制的好坏标签。实验日志也要工具化MLflow或者WB都可以至少要把每一次训练的超参、数据集版本、loss曲线、评估结果存下来。三个月之后你会发现这些记录比模型本身还值钱。5. 常见问题与避坑速查5.1 训练和推理阶段的故障速查表我在带着新人做项目的过程中收集了一堆高频问题这里整理成一张速查表你照着排查基本能解决大部分问题现象常见原因优先排查步骤Loss不降或下降极慢学习率过大/过小、数据没对齐试3e-4量级检查batch里输入和标签是否错位Loss直接变成NaN学习率太高、精度溢出降低学习率开启混合精度grad scaler显存溢出OOMbatch太大、序列太长减半batch_size缩短max_seq_length开梯度累积训练中途显存持续增长有显存泄漏检查是否有张量被长期持有关掉梯度计算里不需要的变量生成内容复读死循环生成阶段调控参数不对或模型欠训练调高temperature或repetition_penalty回答总是带上无关前缀模板没拼对、没加特殊分隔符检查训练模板和推理模板是否完全一致中文回答出现乱码tokenizer配置错误或解码问题检查tokenizer的padding和use_fast设置这里有一个我特别想强调的点训练模板和推理模板必须完全一致。很多人训练时用“指令回答”的格式推理时却换了一套更随意的提示词结果模型表现陡降还以为是模型训坏了。模型是一个模式匹配器它会忠实学习你的模板格式上线时随意改变格式效果必然打折扣。5.2 数据质量是最隐蔽的杀手我见过太多团队花大价钱买GPU调了一堆上游模型训练效果却不如预期。最后排查下来绝大多数原因不在模型而在数据。数据质量问题的隐蔽性在于它不像代码报错那样有红字抛出来而是悄无声息地降低模型的上限。有几个高频问题我得单独拎出来说。第一标签噪声。微调数据里如果存在错误答案模型会学得进退两难。解决办法是定期从训练集里抽样人工复核宁可少而精不要多而乱。第二重复数据。某些语料在爬取过程中被大量重复模型会产生严重的复读倾向。第三格式不一致。一个严格的项目数据集的统一比内容更重要。我给新人的一个判断方法每周抽100条训练数据不看模型预测就看数据本身你愿不愿意用它们教别人。如果你自己都觉得这批数据逻辑不通、格式混乱、充满错别字那模型学出来的东西大概率一塌糊涂。花三天时间清理数据后面能省下三十天调模型的时间这笔账一定要算清楚。5.3 隐性工程问题GPU利用率与成本控制最后一个要讲的坑是很多人跑通demo之后才遇到的GPU利用率低得吓人。你以为显存占满了就是算力用满了其实不然。很多时候瓶颈在数据加载GPU在等CPU喂数据GPU利用率只有百分之二三十。判断方法是训练时运行nvidia-smi看GPU-Util那一栏如果长期低于80%先排查DataLoader的num_workers是不是太小或者做了太多同步的CPU预处理。还有一个问题是Pinned Memory和Prefetch没有打开。在PyTorch里把数据集喂进DataLoader的时候开启pin_memoryTrue和适当增大num_workers就能显著减少CPU和GPU之间的等待时间。这个改动只需要一行业务代码但实测训练速度常常能提升30%以上。我早期的训练脚本速度慢得离谱最后发现就是num_workers0导致的整个训练全程GPU都在“摸鱼”。成本控制也是工程的一部分。云GPU按小时计费你的实验安排越随意钱烧得越快。我建议大家养一个习惯每天收工前把当天实验状态记录清楚把代码、日志、评估结果提交到仓库第二天接着的时候不要重新摸索半天。实验记录规范、数据版本可回溯这不仅仅对效果有益还是实打实的省钱利器。根据我个人经验如果给我一条最重要的建议那就是尽早建立一个端到端最小系统不要沉迷于一个个孤立的知识点。我当年刚开始的时候花了大量时间从数学推到代码结果一动真格立刻暴露问题环境不会搭、数据不会处理、训练脚本一跑就报错。后来我改变了策略先快速搭一个最丑但完整的链路哪怕只有极小的模型、几十条数据也坚持把它跑通。然后每次小步改进先换数据再换模型再加RAG再做量化。在这个过程中踩过的坑、补过的知识比我看过的任何教程都扎实。最后分享一个小技巧我建了一个简单的实验日志文件每次跑完记录下日期、超参、loss曲线截图、评估结果、一句话心得。坚持一个月你会惊讶自己居然已经积累了这么多可复现的实践经验。希望这篇内容能帮你少走些弯路。