大模型入门到实战：从Transformer到RAG微调Agent的完整路线

这两年后台收到最多的私信就是AI大模型到底怎么入门网上资料五花八门有讲Transformer数学公式的有教Prompt写法的还有直接甩给你一堆论文链接的。结果收藏了一堆真正动手的时候还是不知道从哪里下手。我自己从传统NLP转到大模型开发中间踩过不少坑也带过不少新人。今天这篇不整虚的把大模型系统性入门需要的东西一次性捋清楚从核心概念、学习路线、本地部署、RAG、微调、Agent框架到面试常见的“八股文”和实际遇到的翻车现场。内容偏长但你可以照着顺序一步步落地而不是继续收藏吃灰。1. 先搞清楚大模型到底是个什么东西1.1 大模型和传统AI的本质区别很多新手第一步就卡在概念上觉得大模型就是个“更复杂的神经网络”这个理解方向是对的但远远不够。传统机器学习模型做的是分类和回归比如识别一张图是不是猫、预测房价是多少输出的是一个标签或者一个数值。大模型是生成式的它的核心任务只有一个预测下一个Token是什么。就是这么简单粗暴的“猜下一个词”在堆了足够多的参数和海量训练数据之后居然涌现出了对话、写代码、推理、翻译这些能力。GPT系列、Llama系列、千问系列基本都是这个套路。所以你看网上说某某模型支持“多轮对话”本质上不是模型天生会聊天而是它学会了一种“对话格式的输出概率分布”。我经常跟新人打比方大模型像是一个读过海量书籍的实习生你给它一个开头它按概率把最合理的后续补出来。这个概率来自训练阶段见过的数据模式而不是它真的有一本“标准答案”手册。理解这一点很重要后面所有关于提示词、RAG、微调的操作都是在跟这个“概率生成”机制打交道。1.2 普通人最容易忽略的5个核心概念Token词元模型不是按字或按词处理的而是按Token。英文里一个常见单词往往是一个Token中文则是一个汉字可能对应一到多个Token。不同分词器Tokenizer切法不一样这会影响模型的“单位成本”和上下文长度的实际覆盖能力。上下文窗口Context Window模型一次能“看到”的Token数量上限。对话历史、检索到的资料、系统提示词都算在上下文里。窗口越长能塞进去的信息越多但计算成本也会明显上升。参数与显存的关系一个7B70亿参数模型权重用FP16存储大约需要14GB显存。要想跑得动起码得准备16GB以上显存或者用4bit量化。量化是把参数的精度从16位压到4位或8位换来显存大幅下降代价是极轻微的效果损失。新手不用一开始就啃所有量化细节但要知道“显存决定你本地能跑多大的模型”。生成参数Temperature、Top-p这类参数控制生成的随机性。Temperature越高输出越发散、有创意越低则越稳定、越保守。写代码、做数学计算我一般调到0.2以下写文案和头脑风暴再往上调。预训练、微调与对齐预训练是让模型“读书”学知识微调是让模型学会特定的指令格式和风格对齐RLHF或DPO是让输出符合人类偏好。三个阶段的训练数据、目标函数、成本完全不同。现在很多宣传话术故意把这几个概念混在一起你把它拆清楚选型的时候就不容易被坑。2. 系统性学习路线图三个月从零到上手2.1 阶段一打地基第1~2周入门大模型不需要你把所有数学基础补齐但几个关键前提不能缺会写Python了解基本的神经网络结构懂得损失函数和梯度下降在干嘛。如果这些还是空白别直接冲Transformer论文你会被公式劝退。建议的顺序是先快速过一遍深度学习的核心概念神经元、激活函数、反向传播、优化器再补一点NLP基础词向量、RNN/LSTM为什么有缺陷、注意力机制解决了什么问题。这个阶段别追求精通目标是建立“听得懂行话”的感觉。我在实际操作中给新人的要求是手写一个简单的多层感知机在MNIST数据集上把准确率训到90%以上顺便理解batch size、学习率、过拟合这些词的实际手感。这个过程不一定要用大模型但它能把深度学习的核心直觉打牢后面看模型结构会有一种“原来是这么回事”的通透感。2.2 阶段二摸模型第3~4周这个阶段开始直接接触Transformer结构本身。不用把每一行公式都推导出来但下面几个概念必须能讲清楚Self-Attention里的Q、K、V分别代表什么多头注意力为什么比单头好用位置编码解决什么问题LayerNorm和残差连接为什么能稳定训练。读论文的顺序也很重要先读Attention Is All You Need再看BERT和GPT-2然后读Llama或千问的技术报告。你会发现三条技术路线Encoder-only擅长理解分类、Decoder-only擅长生成当前主流、Encoder-Decoder擅长翻译和摘要。现在市面上90%的对话大模型都是Decoder-only这个事实很多人没意识到。动手环节也不能停。用Hugging Face的Transformers库加载一个小模型比如Qwen2.5-0.5B跑一个文本生成任务观察输入输出和参数效果。这一周你会对“模型是怎么跑起来的”有直观认识也能理解为什么0.5B模型和70B模型在效果上天差地别。2.3 阶段三动手部署与调API第5~8周第三阶段的目标是让模型“跑在自己电脑上”同时学会调用各种API。我的建议是从Ollama开始它把模型下载、量化、推理封装成了一条命令非常适合入门。后面我会单独用一整章演示具体步骤。这个阶段还要学会两件事第一对比不同模型的效果和速度比如同时跑7B、14B、32B量级的开源模型感受它们在中文能力、指令遵循、生成速度上的差异第二学会调用OpenAI兼容接口把自己的代码接进去。你会发现几乎所有主流大模型服务都兼容这套接口格式学会一个到处能用。如果你想把推理性能吃透这个阶段可以多看nano-vllm这类教学项目或者直接用vLLM做生产级部署。vLLM支持PagedAttention和连续批处理能把单张显卡的利用率拉高很多但新手不需要一开始就上。2.4 阶段四应用开发实战第9~12周最后一个月就是做项目。我最推荐的练手方向有三个本地知识库问答RAG、结构化信息抽取、行业文案生成。这三个项目覆盖了提示词工程、上下文管理、工具调用和微调的绝大部分核心技能。做一个RAG问答机器人时你自然就会遇到文档怎么切分、Embedding选哪个模型、向量库用Chroma还是Milvus、检索结果不好怎么重排这些问题。做一个信息抽取项目时你会学会用输出格式约束让模型稳定输出JSON。做完两三个项目你对大模型应用的理解会比刷一百篇论文都深。另外从第四周开始我建议你养成逛开源社区和模型官网的习惯。看别人开源项目里的Prompt设计、数据处理代码、部署脚本是学习实战经验最快的途径。只收藏不跑代码等于没看。3. 动手第一步本地部署一个开源大模型3.1 部署前的硬件评估很多人一上来就问“我的电脑能跑什么模型”这个问题的答案基本由显存决定。大模型推理时要把模型权重加载到显存里同时还要留出一部分空间给计算图和KV Cache缓存历史注意力信息。显存不够模型要么启动失败要么跑几个Token就OOM。我按经验给一个粗略的标准0.5B~3B模型可以在8GB显存甚至纯CPU上运行适合写代码测试和跑自动化流程7B模型做4bit量化后大概需要6GB显存推荐至少8GB14B量化后需要10GB左右推荐16GB32B以上建议24GB显存起步或者使用Apple Silicon统一内存机型。如果你用的是MacBook Air这种没有独立显卡的设备也别灰心。M系列芯片的内存带宽大跑量化后的小模型速度反而比同显存的老款N卡更稳。我在M2芯片上跑过7B模型日常问答和写代码完全能用就是长文本生成速度稍慢。3.2 基于Ollama的一键部署流程Ollama是目前本地部署开源模型最省心的工具。它把模型的下载、量化格式转换、推理服务、API暴露都封装好了你不需要手动处理权重文件和推理脚本。第一步去官网下载Ollama安装包支持Windows、macOS和Linux。装好后打开终端执行一行命令就能把千问2.5拉下来ollama pull qwen2.5这行的意思是从模型仓库拉取一个7B量级的qwen2.5模型Ollama默认会给它做Q4量化所以下载体积比原始权重小很多日常在4~5GB左右。下载完成后直接运行ollama run qwen2.5看到命令行出现一个“”提示符就可以开始对话了。你问“你好介绍一下你自己”它就会像ChatGPT一样回复。这个过程我实测下来从安装到第一次对话只要几分钟完全没有手工配置环境的痛苦。Ollama还支持运行时调整生成参数比如输入/set temperature 0.3可以降低随机性。如果你想要图形界面可以搭配Open WebUI或者LM Studio一起使用。LM Studio更像一个桌面软件适合纯新手Ollama更适合喜欢命令行的开发者。3.3 通过API接入自己的程序本地部署最大的价值在于可以写代码调用。Ollama装好后会默认在本地启动一个服务监听11434端口而且提供了OpenAI兼容的API格式。这一步解决了新手接入大模型的最后一点障碍。先用curl做一个最原始的测试curl http://localhost:11434/api/generate -d {model: qwen2.5, prompt: 用一句话介绍Transformer, stream: false}返回的JSON里你会看到模型生成的完整结果。但实际项目里更推荐用OpenAI Python库来接只需要改两个参数from openai import OpenAI client OpenAI( base_urlhttp://localhost:11434/v1, api_keyollama ) resp client.chat.completions.create( modelqwen2.5, messages[ {role: system, content: 你是一个严谨的技术助手}, {role: user, content: 解释一下什么是RAG} ], temperature0.3, streamTrue ) for chunk in resp: print(chunk.choices[0].delta.content or , end)实测下来这套写法可以无缝切换到各种兼容OpenAI接口的云服务只需要改base_url和api_key。如果你团队用的是Java技术栈Spring AI生态也支持通过类似方式连接OllamaJava开发者不需要绕道写Python服务。新手无论是做聊天机器人还是自动化脚本从这里开始就对了。4. 应用开发的四根柱子提示词、上下文、RAG与微调4.1 提示词工程与上下文工程的区别这两个词在行业里经常被混用实际上解决问题层面不同。提示词工程是“如何把一句话说清楚让模型听懂”比如加角色设定、给几个示例、用思维链引导推理上下文工程则是“如何管理模型能看到的全部信息”包括对话历史、外部资料、系统指令以及这些内容的长度和格式控制。打个比方提示词是教一个实习生怎么干活上下文是给这个实习生准备什么素材和参考资料。素材不足的时候实习生只能凭记忆编素材太杂的时候他又会被无关信息带偏。实际项目中我更重视上下文工程。一个模型长期记忆力有限你在对话中塞入的背景资料决定了它回答的上限。所以做一个问答系统第一件事不是优化Prompt措辞而是设计好“什么信息该进上下文、什么东西不该进”。模型输出质量的提升很多时候靠的是给对资料而不是把提示词写得花里胡哨。4.2 RAG不微调也能让模型变“懂行”RAGRetrieval-Augmented Generation检索增强生成是目前解决幻觉、时效性和私有知识问题最主流的方案。核心思想很简单模型不知道答案那就先从一个资料库里检索相关内容然后把检索结果拼进Prompt让模型基于这些材料作答。我给你的实战步骤是第一步把文档切块。建议小块300到500字相邻块重叠50到100字防止关键信息被拦腰截断。第二步用Embedding模型把切好的块转成向量常见的有BGE系列和GTE系列。第三步把向量存进向量数据库入门用Chroma就够数据量大再上Milvus或Qdrant。第四步用户提问的时候先把问题向量化检索Top-K个最相似的块再连同问题一起发给大模型。很多人在RAG上效果不好第一个想到的是换向量库实际上八成问题出在检索质量上。混合检索BM25关键词检索加向量检索、查询改写、重排模型这三个优化手段比换库管用得多。还可以加一层结构化信息抽取比如对接企业数据时用信息抽取框架把非结构化文本变成字段再用RAG去检索效果会明显更好。如果只是部署一个个人知识库不做这些优化直接用也够用。4.3 微调什么时候值得做怎么做微调这个词已经被说烂了但很多新人对它抱有不切实际的期望。我先说结论能用RAG解决的问题不要微调。RAG能让你随时更新资料、控制答案来源微调更像是在改变模型的“行为习惯”。什么时候微调有价值模型输出格式不符合业务要求比如必须输出指定JSON结构、回答风格不够统一、领域术语总说错。这些是RAG解决不了的。我见过有些人想把整个公司的知识都“喂”进模型结果训完模型照样胡说八道因为微调不适合做记忆存储更适合做行为对齐。如果你真的要做微调推荐从LoRA或QLoRA开始。LoRA的做法是冻结原有模型参数不动只训练一小部分低秩矩阵训练参数量减少到原来的不足1%所以消费级显卡也能完成。QLoRA进一步把加载精度压到4bit7B模型的微调显存需求可以降到12GB左右。工具选择上我推荐LLaMA-Factory和Unsloth图形界面和数据管理都很成熟。数据集格式一般是这样{ instruction: 判断这句话的情绪, input: 项目终于上线了太开心了, output: 正面 }训练命令也简单LLaMA-Factory里一行就能启动llamafactory-cli train \ --model_name_or_path qwen2.5-7b \ --stage sft \ --finetuning_type lora \ --dataset alpaca_zh \ --output_dir ./output给你一个忠告数据质量远大于数量。几百条高质量的人工标注数据效果比几万条爬来的垃圾数据好得多。训练完第一件事不是看loss而是拿一批评测集去人工看输出。模型变“笨”了多半是学习率太大或者数据里有冲突样本。4.4 Agent与主流框架选型Agent是目前大模型应用最热的方向一句话概括让模型自己决定调用什么工具、按什么顺序完成任务。传统的问答是“你说一句我回一句”Agent则是给模型一个目标让它自己拆解步骤调用搜索、计算、查数据库、执行代码等外部工具。说白了就跟给一个新同事派活一样。你告诉他“帮我统计所有门店的销售额并生成报告”他不会直接空口回答而是先查数据库再写脚本计算最后画图表。大模型本身不会做这些事但可以通过Function Calling能力把用户的自然语言请求转成结构化的工具调用指令。这就像给模型一份“菜单”模型自己选菜系统负责上菜。主流框架我简单盘一下框架定位适合场景LangChain组件最全的老牌框架复杂流程编排、各类工具集成LlamaIndex专注RAG与数据访问知识库问答、文档处理AutoGen多智能体对话协作多个模型互相讨论、任务分解CrewAI角色化团队协作模拟团队分工完成任务Dify低代码可视化编排快速搭应用、不需要写大量代码这里不建议新人一上来就上LangChain全家桶框架抽象层太厚出了问题你不知道是模型的问题还是框架的问题。我的建议是先用几百行代码手工实现一个简单的Agent包括工具定义、模型调用、工具结果回填这些最基础的逻辑。跑通了之后再用框架你会突然看懂框架里每个概念存在的价值。另外值得关注的是MCP协议它正在成为模型与工具之间的统一接口标准。以后接入各类工具会越来越标准化但底层要懂的依然是“模型自主规划与工具调用”那套逻辑。5. 大模型工程师面试与自查那些“八股文”5.1 必须能秒答的概念题大模型岗面试经常被戏称为“考八股文”因为知识面很宽从模型结构到分布式训练再到推理部署都会被问到。准备面试是系统学习最好的检验方式你自己答不上来的知识点就是最需要补的盲区不需要刷几千道题下面这些高频问题先过一遍问题一句话答案要点Transformer里的QKV是什么查询向量、键向量、值向量通过注意力权重加权求和得到输出为什么用多头注意力让不同头关注不同位置和语义子空间提升表达能力为什么用LayerNorm对每个样本做归一化训练更稳定不受序列长度影响温度参数怎么影响生成温度越高概率分布越平滑输出越随机7B模型FP16推理要多少显存权重约14GB加KV Cache建议16GB以上显存不够怎么办量化、减小模型、精简上下文、用vLLM节省KV Cache开销SFT和RLHF的区别SFT学指令格式RLHF/DPO优化人类偏好什么是KV Cache缓存历史Token的K/V向量避免重复计算贪心解码和束搜索的区别贪心每次取概率最高Token束搜索保留多个候选序列模型幻觉是什么模型生成了事实错误但语气自信的内容建议你每三天挑战自己一次不看资料口述一遍。这个过程比背答案强很多因为面试官会追问。你会发现自己对“KV Cache”的边界理解不清或者对采样参数的细节记不牢这些正是需要回炉的知识点。5.2 现场手撕的实战题除了概念题技术面试越来越喜欢现场给一个小任务。常见的有三类让你写一个提示词模板要求输出固定格式的JSON给你一段检索代码让你优化召回逻辑或者让你估算一个模型的部署成本。我作为面试官时最看重候选人遇到问题时的拆解思路。比如估算7B模型部署需要多少显存一个合格的回答是“先算权重内存7B乘以2字节约14GB。再考虑量化到4bit约3.5GB。还要预留KV Cache空间按输入输出长度和batch大小估算比如batch为1、总序列长度2048时大概再加1~2GB。所以至少需要8GB显存推荐16GB才能跑得宽松。”这种回答体现的不是死记硬背而是对模型推理链路有真实的感觉。你不需要背诵一个精确数字但每一步推算的逻辑得通顺。这也是为什么我一直强调要自己部署一次大模型跑通了这些数字才是活的。6. 实测踩坑实录部署、微调与RAG中的高频雷区6.1 典型翻车现场先说部署。很多新手买了一张8GB显存的显卡兴冲冲去跑14B模型结果启动就报CUDA out of memory。这不是显卡不行是模型没做量化。换成Ollama默认的Q4版本或者手动用GGUF量化格式显存需求能降一半以上。我见过有人因此咬牙买新显卡其实先用4bit跑起来才是正解。再说RAG。知识库问答效果差新手第一反应是“换个大向量库”实际上我排查过十有八九是切块策略有问题。文档切得太碎语义不完整切得太粗检索精度下降Overlap设得太小连接上下文被切断。另外不要迷信向量检索BM25关键词检索在很多专业名词场景下效果更好两者合并使用才是正道。微调翻车现场更常见。有人拿几万条公开数据微调后模型答非所问或者只会输出训练集里的固定句式。多数原因是数据集格式不对或者指令和回答之间没有对齐。另一个高频问题是学习率设太大把原来预训练学到的知识冲掉了。建议一开始就把学习率设到1e-5以下先拿几百条数据做一轮小试验确认输出质量再扩大范围。还有一个容易忽略的坑模型来源。尽量从官方渠道或知名模型社区下载权重不要从来路不明的网盘拉文件尤其是声称“已经微调过”的版本。对一下模型文件的Hash值确认它和你选择的版本一致。模型文件是可以被改写、植入后门的供应链安全在大模型时代比传统软件还要命。6.2 问题排查速查表现象可能原因排查顺序解决方案部署启动报OOM模型过大、上下文太长先看显存占用再调小模型用4bit量化、减小max_new_tokens生成速度特别慢CPU推理、没有开启流式输出看推理日志、检查GPU利用率换GPU推理、开启stream问答总是胡说八道未加资料、检索质量差检查Prompt、看检索Top-K内容引入RAG、优化切块与重排微调后效果下降学习率过大、数据格式错误看训练loss、抽查输出调低学习率、清洗数据集API调用返回404base_url或模型名错误打印请求URL确认模型列表核对版本号与服务端接口这张表你可以直接截图存下来遇到问题按顺序排查会很省时间。我自己的习惯是每遇到一个坑就记一行时间久了就形成了一套个人排障手册。6.3 先写小工具再谈大架构最后想分享一个实操习惯。很多新人一上来就想着搭建一个集成了RAG、Agent、微调的完整平台结果折腾一个月卡在环境依赖上没跑通任何一个环节。我的建议是分四步走第一周只写一个命令行问答脚本第二周给脚本加上资料库RAG第三周加一个工具调用Agent雏形第四周如果确实需要再做微调。每步都保持“可以运行”的状态再往上面加东西。这个大模型的领域变化非常快但底座知识是稳定的。如果你把一个最小的链路彻底跑透过以后不管是换框架还是换模型底层那些核心逻辑都能迁移过去。我从做NLP到现在最大的感受是真正拉开差距的不是谁收藏的资料多而是谁真正动手跑通的路径长。收藏一百篇教程不如让一段代码在自己的电脑上跑出第一行输出。