首页/新闻资讯/正文详情

小白程序员必看:从零到精通RAG大模型链路详解

发布时间:2026/11/3 10:40:10 来源:云帆数科 栏目:资讯中心
小白程序员必看:从零到精通RAG大模型链路详解
本文详细解析了RAG检索增强生成大模型链路从离线建库到在线问答涵盖了解析、切分、向量化、建索引、Query改写、多路召回、融合、重排、生成与引用等关键环节。文章深入探讨了RAG的优势及与其他方案的对比并提供了实用的评测、更新和权限管理方法。适合想要学习大模型技术的程序员尤其是小白通过本文可以系统地了解和掌握RAG大模型链路的构建和应用。一、先有一张整体的图RAG 是 Retrieval-Augmented Generation检索增强生成回答之前先去知识库里查相关内容把查到的内容和问题一起交给模型让模型照着资料回答。整套系统分两条线。离线建库解析文档清洗切成块把每一块变成向量再建索引。产出的是一批带元数据的块以及能快速找到它们的索引。在线问答用户提问后先理解、改写问题再多路召回候选融合排序重排把最相关的几块拼进上下文最后生成带引用的答案。评测和更新贯穿两条线。每一环调得好不好要靠评测验证文档变了索引要跟着变。在线这条线可以看成一个漏斗。召回要从全库捞出几十到上百个候选目标是别漏重排在这些候选里排准挑出最后放进上下文的几条目标是别错上下文窗口是预算放多了贵、慢还会带进干扰。离线这一侧决定了能找到什么。解析丢了表格、切分切断了逻辑在线怎么调也补不回来。二、为什么要 RAG模型的知识存在参数里是训练时学到的。它有截止时间也不包含企业内部的文档要改只能重新训练。RAG 把知识放在模型外面问的时候再查所以能解决三件事用上私有的、新的知识答案能指回原文出处知识变了改文档就行不用重训模型。面试里更常问的是 RAG 和其他方案的边界。和长上下文比。文档少、问题需要通读全文时比如总结一份合同直接放进上下文更简单。文档一多就不行了每次全量放进去成本和延迟跟着文档量涨窗口也放不下无关内容越多模型越容易被带偏。2023 年的论文《Lost in the Middle》测过相关信息放在输入的开头或结尾时模型表现往往最好放在长上下文中间时表现明显变差。和让 Agent 自己 grep 比。代码仓库里的函数名、报错信息都是精确的字符串grep 加读文件效果很好还不用维护索引Claude Code 默认就是这样查代码的。换成几万份业务文档用户的说法和原文用词常常对不上关键词搜不到向量检索的语义匹配就有优势。Agent 要多轮调用工具延迟也更高。和微调比。微调改的是模型的行为和表达习惯比如输出格式、领域术语的用法不适合装经常变的知识也给不出出处。常见的分工是微调管怎么说RAG 管说什么。和工具调用比。订单状态、库存、价格这类有确定答案的数据直接查接口或数据库不该去检索文档。和记忆比。记忆也可能存在向量库里但它存的是这个用户、这段对话里产生的信息RAG 查的是外部知识库两者的写入时机、作用范围和过期方式都不一样。面试常问上下文窗口已经这么大为什么不把文档直接交给模型web search 也能拿到新知识为什么还要 RAG精确查询的场景为什么不走 RAGMemory 和 RAG 都用向量库Memory 算不算 RAG三、离线建库离线建库分四步解析、切分、向量化、建索引。1. 解析原始文档有 PDF、Word、网页、表格和图片解析要做的是把它们变成干净、有结构的文本。这一步错了后面每一步都在错误的文本上工作。PDF 分两类。文字版有文本层可以直接抽取扫描版只有图像要走 OCR。文字版也有坑多栏排版、页眉页脚和页码会打乱阅读顺序所以版面复杂的文档要先做版面分析识别出标题、正文、表格、图片各自的区域和阅读顺序。表格要单独处理按行列结构转成 Markdown 或 HTML让模型还能看出哪个数属于哪一行、哪一列。有合并单元格的表格要用 HTMLMarkdown 表格表示不了合并单元格。表格太大时可以按行拆开每一块都带上表头。图片有两种处理方式用 OCR 抽出图里的文字或者让多模态模型写一段描述连同原图链接一起入库。每张图都过一次模型会拖慢入库可以改成异步处理跳过装饰性的图。解析时顺手把元数据留下来来源文档、标题层级、页码、版本、权限。后面讲的引用溯源、版本过滤和权限过滤靠的都是这些字段。入库前还要做一遍清洗和质量检查去重去掉目录页和水印找出内容缺失、过时或互相冲突的文档。面试常问PDF 怎么解析表格为什么要转成 HTML图片、扫描件和复杂表格怎么进知识库每张图都过一次模型入库会不会太慢文档进库前怎么判断合不合格2. 切分切分是把文档切成检索的基本单位。原因有两个embedding 模型有输入长度上限常见的从 512 到 8192 token 不等检索要找的是和问题相关的那一段整篇文档太粗。切分决定了检索的粒度。块的大小是在检索精度和语义完整之间取舍。块太小一段话说不完整。有面试官举过一个例子「A 是 B 的充分必要条件」如果正好在 A 和 B 之间切开模型还推得出 B 吗前提和结论分在两块只召回其中一块就答不全。块太大一块里混着几件事。块的向量是整块内容的综合表示和某个具体问题的相似度会被其他内容稀释放进上下文的无关内容也多既费 token 又带进干扰。常见的切法有这几种固定长度加重叠按 token 数切相邻块重叠一部分缓解边界被切断的问题。实现简单但不管语义。递归切分按分隔符的优先级来先按段落切太长再按换行、句号切直到每块不超过上限。按结构切Markdown 按标题层级HTML 按标签标题、段落、列表、表格各自成块超长的再按长度切。语义切分算相邻句子的向量相似度在相似度明显下降、话题转折的地方切开。父子块小块用来建索引和检索命中后把它所属的大块交给模型。检索准上下文也够。不管用哪种切法每块最好带上文档标题和标题路径比如「员工手册 报销 差旅」。检索时更容易命中模型也知道这一段在讲什么。块大小没有标准答案。先按 embedding 模型的上限和文档类型定一个起点比如几百 token再用评测集比几组大小和重叠的召回率。切到最后剩一小段时并进前一块或者退回到句子边界重新切不要留下半句话的碎块。面试常问块太大、太小各有什么问题块大小怎么定固定长度切断了上下文怎么办父子索引解决什么问题Markdown 没有标题怎么切一段 1000 token、按 400 切剩下的 200 怎么办3. 向量化关键词匹配只认字面。「出差的费用怎么报」和「差旅报销流程」字面几乎不重合意思却一样。向量化把文本映射到一个向量空间意思相近的文本向量也靠得近。做这件事的是 embedding 模型。它通常基于 Transformer把一段文本编码成一个固定长度的向量维度在几百到几千之间。训练时用对比学习让相关的问题和段落在空间里靠近不相关的推远。查询时问题和文档块用同一个模型编码再用余弦相似度或内积比较远近。向量做过归一化以后两种算法的排序结果一样。问题向量和文档向量是分开算的。文档向量可以提前算好存起来查询时只需要编码问题这是向量检索快的原因。这种结构叫双塔后面讲重排时会拿它和另一种结构对比。检索时问题往往很短只有三五个字文档块却有一两百字两边的长度和写法差得多这叫非对称检索。有的模型约定给问题加检索前缀比如 E5 要求在问题前加「query: 」BGE 建议用短问题检索长文档时在问题前加一句检索指令v1.5 起不加也行效果只略差一点也可以先把问题改写、扩写在线部分会讲。选 embedding 模型主要看这几样中文效果。最大输入长度。向量维度维度越高越占存储算得也越慢。能不能同时输出稀疏向量BGE-M3 能同时给出稠密向量、稀疏权重和多向量表示。自部署还是调接口以及成本。MTEB、C-MTEB 这类公开榜单能用来初筛最后要在自己的评测集上比。还有一点容易忽略换 embedding 模型要把全库重新向量化新旧模型的向量不能混在一起比。面试常问向量化具体是怎么做的为什么选这个 embedding 模型比如为什么用 BGE-M3、不用 Qwen Embedding问题只有三五个字、chunk 有一两百字两个向量怎么比相似度用什么算4. 建索引有了向量最直接的检索是暴力比对拿问题向量和库里每个向量都算一次相似度。数据到几百万条、每秒又有不少查询时延迟和算力都扛不住。近似最近邻ANN索引用一点召回率换速度最常见的是 HNSW 和 IVF。HNSW 是一张分层的图。最底层包含所有向量每个点连着若干个近邻越往上层点越少连线跨度越大像高速路网和城市道路的关系。查询从顶层的入口点出发在当前层贪心地往离问题更近的邻居走走不动了就下到下一层接着走到最底层再在一个候选列表里扩展搜索返回最近的 K 个。关键参数有两类每个点连多少邻居M建图和查询时候选列表有多宽efConstruction、efSearch。候选越宽召回越高也越慢。HNSW 召回高、查得快代价是要把图结构放在内存里。删除通常只是打标记被标记的点搜索时跳过但仍占着位置要靠新数据复用这些空位或者重建索引来回收。IVF 是先聚类再查。建库时用 k-means 把向量聚成若干个簇每个向量归到离它最近的簇中心查询时先找离问题最近的几个簇只在这几个簇里逐个比较。簇分多少个、每次查几个簇决定了速度和召回之间怎么平衡。IVF 常和乘积量化PQ一起用把向量压缩存储省内存损失一些精度。它建库前要先训练聚类数据分布变化大时要重新训练。检索常常还要带条件比如只查某类文档、某个时间之后的版本、当前用户有权限的内容。先过滤再检索结果准但过滤条件很严时近似索引的效果会变差先检索再过滤可能过滤完剩不下几条。各家向量库处理这个问题的方式不同选型时要问清楚。向量库怎么选数据量小、做原型FAISS 或 Chroma 就够了。FAISS 是一个索引库只管近邻搜索持久化、元数据和过滤这些要自己处理。数据量大要分布式、高可用和元数据过滤用 Milvus 这类独立的向量数据库。团队已经在用 Postgres 或 Elasticsearch用 pgvector 或 ES 自带的向量检索少维护一套系统ES 还能在同一个系统里做关键词检索。面试常问为什么要建索引不能每次扫一遍全库吗HNSW 底层怎么实现IVF 的原理是什么什么时候选 HNSWChroma 和 Milvus 有什么区别向量索引用 FAISS 还是数据库自带的离线这一侧做完手里有一批带元数据的块、它们的向量和索引。下面从用户提问开始看在线这条线怎么把块找全、排准。四、在线问答在线这条线就是开头那个漏斗召回尽量别漏重排尽量别错上下文是预算。用户提问以后要经过五步。1. 理解和改写问题用户的问题常常不适合直接拿去检索。多轮对话里有指代比如上一句问的是某款产品这一句只问「那它的保修期呢」还有口语化、错别字、问题太短或者一句话里包着好几个问题。常见的做法有四种补全改写结合对话历史把问题改写成一句独立、完整的检索语句。扩写成多个问法生成几种不同说法分别检索结果合并提高召回。拆成子问题复杂问题拆开各自检索回答时再汇总。HyDE先让模型写一段假设的答案拿这段文字的向量去检索。假设答案和真实文档的写法更接近比一个短问题更容易匹配上代价是多一次生成模型对这个领域不熟时假设答案也可能把检索带偏。改写之前还可以先做一次路由这个问题要不要检索、查哪个知识库还是应该直接调工具。前面说过订单、库存这类精确查询应该走接口。每多一次模型调用就多一段延迟。改写和拆分可以放在一次调用里完成让模型直接输出改写后的问题和子问题列表。拆出来的子问题各自召回以后结果要先合并、去重、重排再截断。有场面试就追问过三个子问题各取 6 条就是 18 段一起交给模型吗不应该原样全交要在这一步收窄。面试常问Query 改写在整条链路里起什么作用口语化的问题怎么改写、扩写、拆分HyDE 怎么用改写和拆分是一次模型调用完成还是要调好几次2. 多路召回向量检索懂意思但对必须精确命中的词不敏感比如产品型号、错误码、人名、内部缩写和新出现的词。这些词在 embedding 模型训练时很少见向量里的区分度不够。关键词检索正好擅长这类匹配所以常见做法是两路一起召回。关键词检索最常用的是 BM25。它给问题里的每个词算一个匹配分再加起来score(D, Q) Σ IDF(q) × f(q, D) × (k1 1) / ( f(q, D) k1 × (1 − b b × |D| / avgdl) )式子里有三个关键因素IDF 衡量词有多稀有越少见的词越重要。f(q, D) 是这个词在文档里出现的次数但加分会饱和从 1 次到 2 次加分明显从 10 次到 11 次几乎不加。k1 控制饱和的快慢。|D| / avgdl 是文档长度和平均长度之比。长文档天然包含更多词要按长度打折b 控制打折的力度。Elasticsearch 的默认值是 k1 1.2、b 0.75。和朴素的 TF-IDF 相比BM25 的核心改进就是词频饱和和文档长度归一化。中文用 BM25 要先分词分词的质量直接影响效果。BM25 属于稀疏表示维度是整个词表绝大多数位置是 0embedding 是稠密向量。也有模型学出来的稀疏向量比如前面提到的 BGE-M3 的稀疏输出。召回还可以再加几路按标题或摘要检索按预先给每块生成的问题检索按结构化字段过滤。每加一路都要说得清它补的是哪个短板否则只是在堆复杂度。面试常问已经有向量检索为什么还要 BM25BM25 的原理是什么比 TF-IDF 好在哪为什么要做稀疏、稠密双路召回为什么要三路、五路第三路补的是什么3. 融合两路召回各给出一个排好序的列表要合成一个。难点在于两路的分数不在一个尺度上BM25 的分数没有上限还随问题变化余弦相似度在 -1 到 1 之间。直接相加结果会被分数范围大的那一路主导。常见的做法有两种。一种是先把两路分数各自归一化到同一区间比如缩放到 0 到 1再加权相加。权重要调而且归一化的结果受这一批候选的分数分布影响。另一种是 RRF倒数排名融合只看名次、不看分数一条结果在每一路里按名次得 1/(k 名次) 分各路相加后再排序。k 一般取 60出自 2009 年 Cormack 等人的论文60 是他们在预实验里定下的k 在 10 到 100 之间效果差别不大。k 的作用是削弱某一路把一条结果排得特别靠前时的影响。举个例子见下图块 A 在向量路排第 1、在 BM25 路排第 3得分是 1/61 1/63 ≈ 0.0323块 D 只在 BM25 路排第 1得分是 1/61 ≈ 0.0164。两路都出现的块 A 和块 C 排到了最前面。RRF 不用调权重对分数尺度不敏感代价是丢掉了分数本身的信息第一名比第二名强多少它看不出来。融合时顺带去重。同一个块被多路命中按块 ID 合并同一篇文档的相邻块可以合成一段也可以限制每篇文档最多入选几块避免结果被一篇文档占满。面试常问两路召回的结果怎么融合为什么不直接把两路的原始分数加起来RRF 怎么算同一个块被多路命中怎么合并去重4. 重排召回为了别漏会拿回几十到上百条候选其中不少只是沾边。真正放进上下文的只能是最相关的几条所以要再排一次。重排和召回用的是两种结构。前面讲过向量检索用双塔问题和文档各自编码成向量再比较文档向量提前算好所以快能在几百万条里找但两段文本在编码时互相看不见否定、条件、数字对不对得上这类细节容易丢。重排模型多用交叉编码器cross-encoder把问题和一个候选拼成一段输入一起送进模型注意力能在两段文本之间充分交互直接输出相关性分数。它更准但每个候选都要和问题一起现算没法提前算好。所以要分两段便宜的召回把范围从全库缩到几十条贵的重排只处理这几十条。如果全库都做 rerank计算量会跟着库的大小线性增长做不下去。常见的重排模型有 BGE-reranker 这类开源模型也有云厂商的 rerank 接口。让大模型逐条打分或者直接排序也可以效果好但更贵、更慢适合候选很少的场景或离线评测。几个参数和工程问题截断召回留多少条、重排后取多少条比如先留 20 条、重排后取 8 条。用评测集比较不同截断下的召回率和答案质量再结合上下文长度和延迟来定。阈值重排分数低于某个值的候选不放进上下文。宁可少给也别把不相关的内容塞进去。降级reranker 超时或出错时直接返回融合排序的结果打上降级标记记进日志别让整条链路失败。面试常问为什么既要 embedding 又要 rerank为什么不能全部 rerankcross-encoder 为什么比向量相似度准先留 Top20 再取 Top8这两个数怎么定reranker 超时怎么办用大模型打分成本会不会太高5. 生成与引用最后一步是让模型根据检索到的内容回答要做到三件事用上该用的内容标出出处没有依据时不乱答。拼上下文时按相关性排好给每段编号带上来源和标题路径相邻块合并重复的去掉总长度控制在预算内。顺序也有讲究按前面提到的《Lost in the Middle》的结论相关信息放在中间时模型表现明显变差所以最相关的内容放在开头或结尾更稳。提示词里约定三条只根据给定资料回答资料里没有就说不知道结论后面按编号标注引用。引用溯源靠的是解析时留下的元数据。编号对应块 ID块上存着文档、页码和位置前端据此跳到原文高亮对应的段落。检索内容和模型自己的知识冲突时以检索内容为准。资料之间互相矛盾时按版本和时间取新的或者把矛盾摆给用户看。检索不到依据时明确回答不知道或者转人工不让模型自己补。面试常问结论有没有引用怎么实现引用溯源到页面高亮怎么做检索到的内容和模型自己的知识冲突了怎么办检索不到依据、资料互相矛盾时怎么处理五、评测怎么知道它好不好块切多大、召回几路、截断取几条每个选择都要有依据。没有评测所有优化都只是感觉。评测还要把检索和生成分开出了问题才知道是哪一段的。先建评测集。找一批真实问题可以从日志里捞也可以请业务方提供每个问题标出应该召回的块和参考答案。里面要有知识库答不了的问题用来考拒答也要有多轮、口语化的问题。几十条起步也比没有强得多。检索看这几个指标RecallK前 K 条结果里命中了多少比例的应召回块。比如一个问题有 2 个相关块前 5 条命中 1 个Recall5 就是 50%再对所有问题取平均。命中率Hit RateK前 K 条里至少命中一个相关块的问题占全部问题的比例。MRR每个问题取第一个相关结果名次的倒数第 1 名得 1第 2 名得 0.5再对所有问题取平均。它衡量相关结果排得靠不靠前。PrecisionK前 K 条里相关结果占多少。K 越大召回越高混进来的噪声也越多召回率和精确率常常此消彼长。怎么取舍看业务漏答的代价高就保召回答错的代价高就提精度再加上拒答。说「召回率 85%」之前先讲清分母是应召回的块还是问题、K 是多少、评测集有多大。Recall5 到了 100%也只说明标注的相关块都进了前 5评测集是不是太小、太简单最终答案对不对它都看不出来。生成看这几样正确性和参考答案比人工打分或者让大模型打分。忠实度答案里的结论能不能在检索到的内容里找到依据用来衡量幻觉。回答相关性答的是不是用户问的。引用正确率标注的引用是不是真的支持那条结论。RAGAS 这类框架主要用大模型当裁判算忠实度Faithfulness、回答相关性Response Relevancy、上下文精确率Context Precision、上下文召回率Context Recall这些指标。裁判本身也会出错要抽样人工核对。没有人工标注时可以看线上信号比如点踩、追问、转人工的比例定期人工抽检或者让模型从文档里生成一批问答对当测试集用之前人工过一遍。调参时每次只改一个变量在同一个评测集上比记下前后的指标。比较两套 RAG 方案也是这样同一个评测集上比检索和生成指标再比延迟、成本和维护难度。面试常问召回率怎么定义、怎么计算召回质量和回答质量怎么分开评Recall5 到了 100%这个指标有什么局限线上没法人工标注怎么评同事各做了一套 RAG你怎么选六、更新与权限知识库会变索引要跟着变。每个块记下所属的文档 ID、版本号和内容哈希。文档更新时按文档 ID 找出所有旧块删掉或者标记失效再写入新块也可以先写好新版本校验通过后再切换过去。用哈希判断内容有没有变只对变了的文档重新切分和向量化大库能省下大量 embedding 开销。同一份文档有多个版本时检索按版本或生效时间过滤默认只召回最新版本。删除以后要确认索引已经同步前面说过 HNSW 多是打标记删除缓存要一起失效否则旧内容还会被召回。换 embedding 模型要全量重算可以新建一套索引两套并行一段时间再切过去。权限要在检索阶段就带上按用户的组织和角色加过滤条件只在有权限的块里找至少要保证没有权限的内容进不了上下文。还要检查旁路缓存是不是跨用户共享日志和引用片段会不会把没有权限的内容带出去。面试常问文档更新、删除怎么处理同一份文档多个版本共存怎么办旧文档还会被召回怎么办TB 级的文档建库和增量更新时怎么省 embedding 开销多个知识库隔离除了按知识库 ID 过滤还有哪些权限漏洞七、面试怎么答把前面的内容收成一条两分钟左右的主线一句话说清这个 RAG 解决什么问题什么知识库、多大、谁在用。离线怎么解析表格和图片怎么处理怎么切块多大、为什么用什么 embedding 模型、什么索引。在线问题怎么改写几路召回、怎么融合用什么重排模型截断取几条。生成引用怎么做没有依据时怎么处理。效果评测集多大RecallK、正确率、引用正确率分别多少做过哪些对比实验。每一环说清做了什么、为什么、数字是多少。讲完就停让面试官挑一环往下问。数字要提前备好。67 位作者里近一半31 位被问到的是自己项目里的 RAG块切多大top-k 取几召回率多少怎么测出来的。没测过的就说没测过。几个常见的失分点只背四步切分、向量化、检索、生成。第一个「为什么」就接不住。数字说不出来历。有面试官抓着候选人提到的召回率提升 20% 左右追问具体做了哪些工作。说出口的每个数都要能讲清怎么测的、分母是什么。没有评测集所有「效果变好了」都只是感觉。说不清哪些是自己做的。面试官会问RAG 是不是直接调的别人的服务是不是在 Dify 上二开的哪段核心代码是你自己写的HNSW 索引是不是 Agent 帮你写的。用现成平台、让 AI 写代码都没问题前提是讲得出里面怎么切、怎么召回、你改了什么。RAG 效果差、召回不准从哪排查是题单第 15 题后面单独写。大模型的知识又多又杂到底怎么学做这行久了被问最多的问题就一个大模型的知识又多又杂我到底先学啥翻了一堆资料看啥都像重点结果啥都没学进去。今天把我自己一路摸出来的顺序捋一遍零基础、应届生、转行的都适用。跟着走至少方向不乱、不瞎忙学完拿得出手。第一阶段10天初阶应用这一阶段就一个目标把大模型真正玩明白不是只会聊天那种而是能调教它、能用代码把大模型和业务接起来。大模型 AI 能干什么大模型是怎样获得「智能」的用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段30天高阶应用这阶段正式进实战目标很实在做出两个能拿出手的东西——一个私有知识库一个 agent 对话机器人。为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示Embeddings向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…走完这 30 天Python 或 JavaScript 背景的基本能独立做一套 RAG 应用简历上也敢写大模型应用开发了。第三阶段约20天动手微调学到这你已经开始 “造” 模型了 —— 通过微调搞出垂直领域的专用小模型。为什么要做 RAG什么是模型什么是模型训练求解器 损失函数简介小实验2手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…恭喜你如果学到这里你基本可以找到一份大模型 AI相关的工作自己也能训练 GPT 了通过微调训练自己的垂直大模型能独立训练开源多模态大模型掌握更多技术方案。到此为止大概2个月的时间。你从 “只会用” 变成 “能造” 的 AI 小子。那么你还想往下探索吗想要入局AI大模型赛道、抢占行业红利的朋友微信扫描下方CSDN官方认证二维码即可100%免费领取全套学习资料第四阶段20天商业闭环部署落地技术学完落地才算数。这阶段带你搞明白大模型怎么真正跑起来、用起来。硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…想要入坑大模型的朋友给大家准备了一份2026 年最新 AI 大模型全套学习资料1、大模型系统化学习路线2、大模型学习视频教程3、大模型学习书籍电子文档4、AI大模型最新行业报告5、大模型项目实战配套源码6、2026大模型大厂面试真题7、为什么要学习大模型我国在A大模型领域面临人才短缺,数量与质量均落后于发达国家。2023年人才缺口已超百万凸显培养不足。随着AI技术飞速发展预计到2025年,这一缺口将急剧扩大至400万,严重制约我国AI产业的创新步伐。加强人才培养,优化教育体系,国际合作并进是破解困局、推动AI发展的关键。8、适合谁学传统后端 / Java / 前端开发想转型 AI 应用大学生、应届生想拿更好的 offer产品经理、运营想武装职业竞争力技术负责人想给团队落地提效学习是反人性的但回报是真金白银。技术会更新赛道会切换但只要你先动手机会就永远站在你这边。9、这些资料真的有用吗这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理现任上海殷泊信息科技CEO其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证服务航天科工、国家电网等1000企业以第一作者在IEEE Transactions发表论文50篇获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的技术人员这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。想要入局AI大模型赛道、抢占行业红利的朋友微信扫描下方CSDN官方认证二维码即可100%免费领取全套学习资料好了就写到这。路线是死的人是活的卡住了随时来问我。觉得有用就点个收藏别让它进收藏夹吃灰——动起来比啥都强。

相关推荐

【Vulnhub系列】 ICA: 1通关教程
【Vulnhub系列】 ICA: 1通关教程

环境说明 虚拟机软件:VirtualBox 靶场: ICA: 1 攻击机Kali:192.168.56.3 靶机:192.168.56.13 虚拟机模式:仅主机,攻击机靶机同一网段 下载链接:https://download.vulnhub.com/ica/ica1.zip 作者… · 2026/11/3 10:40:10

大模型Agent开发从入门到接项目(保姆级学习路线)
大模型Agent开发从入门到接项目(保姆级学习路线)

作者分享了从零开始学习大模型Agent开发的半年经验,强调Agent开发的核心是将大模型当作员工进行管理,而非深入算法研究。文章提出了五个学习阶段:跑通最简Agent、Prompt Engineering、RAG知识库、记忆机制与多轮对话、多Agent协作与工程化&am… · 2026/11/3 10:39:09

2小时,我做了一套项目成本管控台账!预算、支出、超支一目了然
2小时,我做了一套项目成本管控台账!预算、支出、超支一目了然

项目一直在推进,钱也一直在花,可预算还剩多少、哪些费用正在审批、哪个项目即将超支,却没人能说清楚。 项目经理说,之前沟通过了;财务说,月底才拿到单据;老板问,为什么超支了没人提醒… · 2026/11/3 10:39:09

清华开源VisionReward-Image:多维度评分重构AI视觉生成质量标准
清华开源VisionReward-Image:多维度评分重构AI视觉生成质量标准

清华开源VisionReward-Image:多维度评分重构AI视觉生成质量标准 【免费下载链接】VisionReward-Image-bf16 项目地址: https://ai.gitcode.com/zai-org/VisionReward-Image-bf16 导语:清华大学最新开源的VisionReward-Image模型通过五大维度拆解… · 2026/11/4 1:43:00

Mineradio 2.2.0 更新指南:沉浸式音乐播放器的登录修复、换源稳定与手势操控
Mineradio 2.2.0 更新指南:沉浸式音乐播放器的登录修复、换源稳定与手势操控

Mineradio 2.2.0 更新指南:沉浸式音乐播放器的登录修复、换源稳定与手势操控 【免费下载链接】Mineradio-paused 一款以电影镜头、粒子视觉和歌词舞台为核心的沉浸式音乐播放器。 项目地址: https://gitcode.com/gh_mirrors/mi/Mineradio-paused Mineradio 2… · 2026/11/4 1:43:00

训练效率翻倍:Moonlight-16B-A3B如何重塑大模型行业成本结构
训练效率翻倍:Moonlight-16B-A3B如何重塑大模型行业成本结构

训练效率翻倍:Moonlight-16B-A3B如何重塑大模型行业成本结构 【免费下载链接】Moonlight-16B-A3B 项目地址: https://ai.gitcode.com/MoonshotAI/Moonlight-16B-A3B 导语 月之暗面发布的Moonlight-16B-A3B模型通过Muon优化器实现训练效率跃升,5… · 2026/11/4 1:43:00

FastAPI API 文档美化实战:4 步把默认 Swagger UI 换成你的品牌风格
FastAPI API 文档美化实战:4 步把默认 Swagger UI 换成你的品牌风格

FastAPI API 文档美化实战:4 步把默认 Swagger UI 换成你的品牌风格 【免费下载链接】fastapi FastAPI framework, high performance, easy to learn, fast to code, ready for production 项目地址: https://gitcode.com/GitHub_Trending/fa/fastapi FastAP… · 2026/11/4 1:43:00

Osiris入门指南:用Next.js 16 + MapLibre搭建全球OSINT仪表盘
Osiris入门指南:用Next.js 16 + MapLibre搭建全球OSINT仪表盘

Osiris入门指南:用Next.js 16 MapLibre搭建全球OSINT仪表盘 【免费下载链接】osiris Open Source Global Intelligence Platform - Real-Time OSINT Dashboard - A Palantir Alternative - 2nZNHm3Lr9umG3DVrzYwHgktwkuKuJRXqqRqs3ewpump 项目地址: https://git… · 2026/11/4 1:43:00

如何快速构建智能交通流量预测系统:Hermes Agent机器学习模型应用指南
如何快速构建智能交通流量预测系统:Hermes Agent机器学习模型应用指南

如何快速构建智能交通流量预测系统:Hermes Agent机器学习模型应用指南 智能交通流量预测系统是现代城市管理的重要组成部分,而Hermes Agent作为一款强大的AI代理框架,提供了丰富的机器学习模型应用能力,帮助开发者快速实现这一目… · 2026/11/4 1:42:00

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/2 13:10:28

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 6:04:24

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 5:52:46

AI辅助技术栈评估:提升研发决策效率60%
AI辅助技术栈评估:提升研发决策效率60%

1. 项目背景与核心价值技术决策一直是研发团队面临的重大挑战。随着技术生态的快速演进,技术栈的选择、维护和迭代变得愈发复杂。我们团队在过去两年里,先后经历了三次重大技术栈迁移,每次都需要投入大量人力进行技术评估和风险分析。直到去年… · 2026/11/4 0:00:17

从生成Token到直接决策:Jev如何重塑AI Agent工程实践
从生成Token到直接决策:Jev如何重塑AI Agent工程实践

1. 从"生成文字"到"拍板决策":Jev 到底在解决什么问题大多数人第一次接触大模型,脑子里建立的模型是"输入问题、输出文字"。你问它今天天气怎么样,它给你一段描述;你让它写个周报,它给你… · 2026/11/4 0:00:17

32G统一内存跑大模型:内存账、TPS实测与端云分流
32G统一内存跑大模型:内存账、TPS实测与端云分流

想在一台 32G 统一内存的小主机上把大模型跑成"日常可用",这件事我前后折腾了小半年。标题里说的这台 Mac mini M6,是我们这次讨论的目标平台,具体到手规格以实物为准;但下面这套推算方法和实测思路,对任何统… · 2026/11/4 0:00:17

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/2 13:10:28

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 6:04:24

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 5:52:46

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码