《大模型是怎样跑起来的（轻科技）》硬件篇 阅读笔记

《大模型是怎样跑起来的轻科技》硬件篇 阅读笔记硬件篇前面讲的是模型怎样生成一句话。现在要看另一个问题这么多计算到底在哪里跑无论是向量、注意力还是参数矩阵最后都要落到数学运算上。大模型的核心计算大量都是乘法和加法尤其是矩阵乘法。这件事的特点是每一步并不神秘但数量极其庞大。一个小学生也能理解乘法和加法但如果要在几秒钟里完成数以亿计甚至更多的乘加运算就必须依靠专门的硬件。这就是 GPU 这类加速芯片登场的地方。为什么不是只靠CPU普通电脑里也有 CPU。它当然能计算。小模型、简单任务CPU 也能跑。只是当模型变得很大参数很多用户又希望几秒钟得到回答时CPU 就显得不够适合。CPU 更像少数几个能力很强的通用工人。它们很聪明能处理复杂流程能应对各种分支判断也能管理整个系统。但问题是数量有限。GPU 更像一大片同时工作的工人。每个工人不一定很全能但数量多适合同时做大量相似的小任务。大模型里的矩阵运算正好是这种任务。每个位置都在做类似的乘法和加法彼此可以拆开并行处理。让 GPU 来做就能把大任务切成很多小块同时推进。所以大模型并不是绝对不能在 CPU 上跑而是大型模型的训练和高性能推理通常更适合交给 GPU、TPU、NPU 或其他 AI 加速芯片。其中GPU 因为性能强、生态成熟成了今天最常见的选择。GPU的优势是一起干活GPU 并行工作的方式可以用一句话理解就是同一道命令很多人同时执行但每个人处理的数据不同。比如厂长喊 “做乘法”​。所有工人都做乘法但每个人手里的数字不一样。有人算 3×5有人算 7×2有人算 4×9。动作一样数据不同。这非常适合矩阵计算。矩阵里有很多位置每个位置都需要做类似计算。GPU 可以把这些位置分给大量线程让它们同时开工。这样总时间就大大缩短。这也是为什么大模型需要并行计算。不是因为每个计算都很难而是因为计算数量太多。数量一多谁能同时干活谁就有优势。大模型需要大量矩阵乘法而现代 AI GPU 里有专门为矩阵乘法加速的硬件。在英伟达 GPU 里这类单元叫 Tensor Core。这也就是为什么同样是算乘法不同芯片之间速度会差很多的原因。算得快还不够数据也要送得快不过只有算力还不够。如果把计算单元看作工人参数和中间结果就是原材料。工人再多如果原材料送不到手边那也只能空等。大模型推理时要不断读取参数、读取上下文缓存、写入新的中间结果等。数据在芯片里来回搬运速度非常关键。GPU 上有一种很重要的内存叫 HBM也就是高带宽内存。这就像是一个又大又宽的仓库它不仅容量大更重要的是通道宽一次能把大量数据送到计算单元附近。但大模型太能吃数据了。哪怕 HBM 已经很快很多时候仍然不够。这也是理解大模型推理速度的关键不只是算力问题也经常是数据搬运问题。所以大模型跑得快不只是因为芯片会算还因为工程师会想尽办法让数据少走路、早到位。一次推理为什么分成两个阶段你有没有考虑过一个问题为什么总是第一个字出现得最慢然后开始一个字一个字输出这是因为一次推理大致可以分成两个阶段。第一个阶段叫 Prefill可以理解成“读题”​。第二个阶段叫 Decode可以理解成“作答”​。这两个阶段的工作方式不一样速度感也不一样。Prefill 像是一口气读完整道题当你输入 “中国首都是” 时模型不会马上吐出答案。它要先把你输入的内容全部读进去。如果你输入的是一句话这一步很快。如果你输入的是一篇长文、一段代码、一整份报告这一步就会明显变重。在 Prefill 阶段模型会处理你输入的全部 Token让它们互相建立上下文关系。注意力机制会在这里发挥作用。每个 Token 都要知道自己和其他 Token 的关系模型才能形成对整段输入的语境理解。这个阶段很适合 GPU 并行计算。因为你输入的一大批 Token 可以一起处理里面有大量矩阵乘法Tensor Core 也能忙起来。这就是为什么输入越长等待第一个字的时间往往越久。模型不是在发呆而是在读题。Decode 像是一个字一个字写答案Prefill 完成后模型开始生成回答。这时进入 Decode 阶段。Decode 的特点是每次只生成一个新 Token。先生成第一个再生成第二个再生成第三个。它不能把整段回答一次性全部生成出来因为后面的内容依赖前面已经生成的内容。这就像写句子。你写下 “北京”​后面要不要接 “是中国的首都”​取决于前面已经写了什么。大模型也是这样前一步生成的 Token会成为下一步预测的上下文。这就是为什么我们看到的是一个字一个字往外冒而不是整篇答案瞬间出现。KV Cache 让模型不用每次从头读一遍这里有一个关键优化叫 KV Cache。你可以把它理解成模型的草稿纸。在 Prefill 阶段模型处理输入时会算出很多中间结果。后面 Decode 时每生成一个新 Token都需要回看前面的上下文。如果每一步都把所有历史内容从头算一遍代价太高。于是模型会把已经算过的一部分中间结果保存下来。下一步生成时直接拿来用。这些保存下来的中间结果就是 KV Cache主要是为了用空间换时间让模型避免大量重复计算。但它也带来另一个问题历史越长缓存越大。每生成一个新 Token模型都要读取越来越大的历史缓存。对话越长缓存数据越大数据搬运压力越大。这就是为什么长上下文会占用更多显存也为什么长对话可能让速度变慢。不是模型不想记住而是记住需要空间回看需要带宽。为什么第一个字慢后面的字有节奏你按下回车后第一个字迟迟不出现通常是因为模型正在 Prefill。它要先读完你的输入把上下文处理好。第一个字出现后后面开始一个字一个字往外冒这是 Decode。每一步都要读取历史缓存计算下一个 Token再输出。Decode 阶段的计算量不一定最大但它很依赖数据搬运。尤其是上下文很长时每一步都要从显存里取出大量历史信息。此时瓶颈可能不是算不过来而是搬数据太忙。所以大模型的输出节奏就是先停顿读题然后逐步作答。对话越长历史越多每一步背后的搬运负担也越大。上下文窗口为什么有限到这里你差不多也可以理解为什么所有大模型发布的时候都强调自己的模型能够处理的上下文上限了。很多人会觉得大模型这么强为什么不能记住无限长的对话原因之一就在 KV Cache。每多一个历史 Token模型就要保存更多中间结果。上下文越长占用的显存越多。生成新 Token 时要读取的历史缓存也越多。所以上下文窗口不是一个随便设置的限制。它和模型结构、显存容量、内存带宽、推理成本都有关系。当然工程上有很多办法缓解这个问题比如压缩历史、分块处理、检索外部资料、优化注意力计算等。但从基本原理看长上下文一定更贵。它需要更多存储也需要更多搬运。这就是为什么让模型记住更多内容不是简单地把数字调大。总结现在再看你按下回车后的那几秒钟就不会觉得它只是一个简单的等待过程了。屏幕上只是一个光标在闪机器内部却已经分成几条线同时运转。文字被拆开变成 TokenToken 变成数字带着位置信息进入模型。注意力机制让它们彼此参照参数矩阵把这些上下文信息转成下一步的分数。与此同时GPU 在并行计算显存在搬运数据缓存里保存着前面已经算过的上下文。当这个过程足够快接出来的内容足够连贯我们就看见了一次像对话一样的回答。理解完这一圈我们可以回到文章开头那个问题大模型真的会思考吗从外部表现看它确实能完成很多看似需要思考的任务。它能总结文章解释代码改写句子翻译语言分析方案甚至给出推理步骤。但如果把思考理解成人类大脑里的主观体验那大模型并没有这样的体验。它没有意识也没有自己的目的。这并不矛盾。大模型的能力来自训练中形成的语言规律也来自巨大参数空间里的复杂组合。它不是简单地背答案也不是单纯地查数据库。它会根据上下文动态生成内容。当问题足够常见语言规律足够稳定它的回答就会显得很可靠。当问题需要最新信息、严格事实、精确计算或者涉及复杂现实判断它就可能出错。当提示写得清楚背景给得充分它往往表现更好。当问题模糊、上下文不足它就容易用看似合理的话填补空白。所以与其问“大模型是不是真的会思考”​不如换一个更实用的问题它生成这段话的依据是什么这些依据可靠吗我是否需要验证这也是普通人使用大模型时最重要的判断力。