AI芯片调研指南：从存储墙到软件生态，避开参数陷阱

1. 先把调研边界划清楚AI芯片到底是个什么品类AI芯片这个词现在被聊得太泛了。打开科技媒体的首页几乎每天都有跟AI芯片相关的标题一栋楼、一条产线、一次融资都能带起一波热度。但如果你真把公开资料翻一圈会发现大部分讨论还停留在概念层面真正能落到产品形态、技术取舍、部署决策上的内容并不多。我最近又做了一轮系统性AI芯片调研起因其实很实际团队要评估新一代大模型训练与推理平台的硬件选型同时也要给几个不同场景的落地项目做算力规划。不看不知道一看才发现这个领域的信息噪声比我想象中还要大。同一个名词在不同厂商的白皮书里可能指完全不同的东西同一个性能数字在不同口径下能差出一倍甚至更多。所以这篇就围绕调研本身来写我按什么框架拆解AI芯片哪些指标真正决定落地效果哪些参数是纸面噱头以及在整个调研过程中反复踩到的认知偏差。内容不偏向任何单一厂商尽量站在行业视角把链路讲透。先说边界。调研之前先得把AI芯片这个筐划清楚。行业里常说的AI芯片广义上泛指任何为加速AI计算而设计的处理器行业内也常称作AI加速器或AI处理器围绕的核心场景是深度神经网络的训练和推理。但真实产品形态五花八门至少可以分成四个大方向。第一是GPU。GPU最早是为图形渲染设计的但因为拥有大规模并行计算单元天然适合矩阵运算后来被深度学习的浪潮推到台前演变成通用AI加速器。今天的GPU已经是“图形处理器”的名字、AI加速器的实质里面塞了Tensor Core这类专门为矩阵乘加设计的计算单元还搭配了高带宽的HBM显存。第二是FPGA。现场可编程门阵列的特点是逻辑电路烧录后可以重配适合算法还在频繁变动、或者对时延极其敏感的推理场景。它的灵活性强但单卡算力密度通常比不过GPU和ASIC所以在主流大模型训练里份额不多主要留在通信、金融、工业等垂直领域。第三是ASIC。专用集成电路把计算逻辑固化到芯片电路里只干一件事但干得极快极省电。Google的TPU、AWS的Trainium和Inferentia、各类NPU都是这个路线。AI芯片调研进行到后半段时你会发现头部云厂商几乎都在往ASIC方向投入因为一旦工作负载稳定ASIC的性耗比优势明显。第四是类脑芯片、光计算芯片、可重构架构这些更前沿的方向。它们在特定场景有理论优势比如脉冲神经网络在低功耗端侧诱发识别上有潜力光计算在某些矩阵运算上有速度潜力但成熟度目前还不足以进入主流商用。调研阶段了解一下方向即可不要被实验室指标干扰了判断。另外还有CPU在AI推理中的角色。很多人做调研时会把CPU直接略过这是错误。在小模型推理、混合负载场景以及推荐系统这类高并发低算力需求的业务里CPU依然是主力。Intel的AMX指令集在部分场景下能把单机推理吞吐拉到不错的水平。所以调研芯片本质上不是挑一个类别而是找匹配工作负载的算力形态。搞清楚了品类划分我习惯再用“一句话定义”来给每个产品定位比如H100是“面向训练数据中心的通用GPU”TPU v5e是“面向Transformer模型优化的云端ASIC”高通NPU是“面向端侧多媒体与AI任务融合的异构计算单元”。这个习惯帮我避免了很多后续讨论中概念错位的麻烦。2. 真正决定AI芯片体验的不是算力而是三堵墙2.1 存储墙算得再快数据喂不上也白搭做AI芯片调研最容易犯的错误就是一上来比较TFLOPS好像算力数字大就代表一切。实际上在Transformer这类大模型训练场景里芯片的实际性能高度受制于存储带宽。我用一个生活化类比来解释这个逻辑算力好比餐厅后厨的灶台功率灶台再猛如果传菜员端菜跟不上客人还是吃不上一桌菜。在深度学习计算里数据在内存和计算单元之间的搬运就是传菜环节。大模型训练时权重矩阵、梯度、中间激活值都要频繁进出内存存储带宽直接决定了计算单元能不能吃饱。目前行业里的主流做法是在芯片旁边堆HBM高带宽内存。以目前市面上标杆产品为例单颗加速器的HBM带宽已经能做到3TB/s以上的量级最新的旗舰产品甚至接近8TB/s。这个数字对比传统DDR5内存的带宽提升了一个数量级。但即便这样存储墙依然存在。为什么因为模型参数的增长速度远超硬件带宽的提升速度。一个千亿参数模型光权重就是几百GB训练过程中整个权重集合要把内存一遍一遍地扫过。模型参数翻倍带宽需求基本也翻倍但HBM的产能和带宽密度却没办法一年翻一倍。所以调研时看一个芯片能不能跑大模型先看它的显存容量和带宽其次再看算力。我通常用一个经验公式来粗估如果一个芯片的显存容量乘以带宽之后明显低于同代模型训练的理论需求那它在实际场景里大概率跑不满峰值算力所谓的高TFLOPS就只是纸面数字。2.2 功耗墙能效比是数据中心最硬的约束第二个容易忽略的维度是功耗。AI芯片调研到后期你会发现一个朴素的现实电费和数据中心的散热能力往往是比采购预算更硬的约束。以一台8卡训练服务器为例满载功耗动辄能到十千瓦以上。一个机柜塞两到三台这种服务器功率就逼近不少老机房单机柜的供电上限。如果算上配套的散热和制冷一个训练集群跑起来电费账单会比大多数人预想的高出很多倍。这也是为什么能效比、业内也常说性耗比正成为各家比拼的焦点。同一档算力A方案需要700瓦功耗B方案只需要450瓦长期运行下来TCO差异会非常明显。更关键的是在大型数据中心里机柜功率密度的限制可能直接决定一个集群最终能部署的卡的数量而数量往往比单卡性能更影响集群总吞吐。我这次调研中还专门花了时间去了解先进封装技术包括CoWoS这类2.5D/3D封装工艺。虽然这个环节不属于芯片本身但HBM堆叠、逻辑芯片和内存的集成方式直接决定了上面说的存储带宽能不能兑现也决定了单位面积的散热功耗处理能力。可以说今天AI芯片竞争的一半其实发生在封装厂。2.3 互连墙单卡再强集群连不起来等于零第三个墙是互连。大模型训练早就不是单卡任务而是几千张卡协同工作的集群任务。我见过不少人在调研时只看单卡指标忽略了芯片之间的通信能力这是很典型的新手失误。芯片与芯片之间、服务器与服务器之间的通信方式分为Scale Up和Scale Out两个层次。Scale Up指机内多卡互连比如很多GPU之间通过高带宽专用总线和交换芯片组成一个超节点让多张卡像一台巨型机器一样协同工作Scale Out则指跨服务器的集群网络目前行业主流方向是RDMA远程直接内存访问网络用以太网或InfiniBand来实现。Scale Up的带宽通常能达到TB/s级别Scale Out的单链路带宽目前常见是400Gbps量级差很多。所以训练一个大模型时能否高效地把计算任务切分到多个节点同时让通信开销尽量小很大程度取决于互连设计。有些芯片单卡做得不错但集群效率很低真实吞吐只有理论上限的一半。这类数据在评测报告里通常不会主动呈现需要调研者自己去厂商案例或行业实测里翻。我在调研记录里专门列了一张表比较不同产品的单卡算力、HBM带宽、互连带宽和互连规模上限这些参数放在一起看远比单独看算力有意义。3. 硬件只是入场券软件生态才是真正的护城河AI芯片调研进行到中期一个体会会越来越强烈这个行业的竞争重心早就从芯片本身转移到了软件生态。硬件决定了性能天花板但是决定你实际能用出多少性能的是软件能不能把硬件“喂饱”。以目前生态最成熟的GPU平台为例它的护城河并不只是硬件而是CUDA这一整套软件栈。从底层驱动、数学库到上层的分布式训练框架、推理引擎整个链路已经打磨了十几年。业界有大量代码直接跑在CUDA的接口之上换个硬件平台意味着这些代码要么重写要么经过一层转换层的兼容。这中间的成本有多高我调研时用一个小实验来感受拿一个常见的开源深度学习模型在A平台上编译运行没有任何报错换到B平台时光是算子兼容性检查就花了大半天中间还因为某个自定义算子只支持特定指令集而卡住。这个体验非常直观地说明了为什么很多团队宁愿继续用老平台也不愿意切换。软件栈本身是分层的。最底层是驱动和运行时决定硬件资源怎么被管理往上是算子库提供卷积、矩阵乘法之类的高性能实现再往上是图编译器和深度学习框架的适配层负责把模型的计算图翻译成可以在芯片上高效执行的指令序列最上层就是推理引擎、训练框架这些面对最终用户的组件。调研一个芯片的软件生态成熟度我一般看四个问题。第一主流深度学习框架能不能开箱即用第二常用的Transformer结构算子是不是原生支持还是要自己写kernel第三分布式并行能力是否完整包括张量并行、流水线并行、数据并行这些策略能不能配齐第四社区活跃度和可获取的资料多不多这四点只要有一点有明显短板这个芯片就只适合少量样板项目落地还不具备大规模推广的土壤。我调研中还注意到一个趋势就是模型和芯片的协同设计越来越紧密。以前是先有模型再有芯片现在是模型结构还没定稿芯片架构设计就得预留对应的算子和访存模式。比如现在大模型普遍采用混合专家MoE结构不同的专家网络分散在不同设备上这要求芯片能高效处理稀疏激活和全局路由通信。再比如低比特量化越来越主流芯片能不能高效支持FP8甚至INT4的计算反而成了一个关键卖点。从调研的视角看评估一颗AI芯片的生命周期除了看它在今天主流模型上的表现还要判断它在未来两三代模型结构演进后能不能跟得上。芯片设计到量产普遍在两年以上如果它的设计基准还停在两年前的模型理解上采购回来后过两年可能就面临性能瓶颈。这属于长期风险一般的基础参数评测很难暴露出来。4. 算力数字背后的口径陷阱同样的数字不同含义现在聊聊调研中比较枯燥、但特别值得留意的部分性能指标的“口径问题”。我在翻各种AI芯片技术文档时最常见的一个现象是不同厂商对于算力宣传采用了不同口径导致数字看起来相差很大实际可能差不了太多。如果调研者只是把官网数字抄进对比表那结论很容易失真。4.1 峰值算力与实际利用率之间可能差一倍先说峰值算力。厂商宣传里最醒目的TFLOPS数字都是理论峰值也就是芯片的全部计算单元满负荷运转、且数据供给完全充足时的理想值。真实世界里没有任何一个模型能达到这个状态因为前面说过的存储墙和通信开销会让计算单元频繁空转。行业里衡量真实效率常用一个称为MFU模型算力利用率的指标指的是在训练某个具体模型时实际计算吞吐占峰值算力的百分比。我调研过的公开案例里大规模训练集群的MFU通常在40%到60%之间做到60%以上已经属于工程水平很好的情况了。这意味着哪怕纸面上是1000 TFLOPS的芯片跑真实大模型时可能只有500 TFLOPS左右的实际产出。更关键的是不同芯片架构的MFU差别很大。GPU因为有非常成熟的软件栈和以数据传输为中心的设计在通用大模型上MFU往往能维持较高水平而一些专用芯片如果恰好模型结构和它的架构设计思路匹配MFU也能不错但如果模型结构超出它的适用范围掉到30%以下也不罕见。所以调研时不能只看峰值要尽量去找“特定模型下的实测利用率”这类数据。4.2 稀疏算力与稠密算力另一个典型的宣传口径是稀疏算力。有些芯片在计算单元里支持稀疏化技术可以把矩阵中大量为0的元素跳过不计算。面向稀疏计算的算力指标数字会明显膨胀通常是稠密算力的一倍左右。但稀疏化能带来收益的前提是模型权重本身真的有很大比例是0并且需要专门的软硬件配合才能把稀疏性利用起来。目前大多数普遍使用的模型是稠密模型稀疏化技术还没有成为主流应用所以拿稀疏算力来对比日常场景意义非常有限。做参数对比时我给自己立了一个标准所有算力数字统一看稠密算力如果厂商标注里没有明确说明是稀疏算力就按最保守的解读去判断。同时还要记录精度条件FP16和FP8的算力可以差一倍INT8又更夸张若不标注精度任何对比都失去了意义。4.3 TCO不只是采购价最后是被很多人忽略的总体拥有成本TCO。调研AI芯片时如果不做TCO分析只看采购单价很容易被误导。TCO至少应该包括五个部分硬件采购成本、配套服务器和网络设备、数据中心电费和散热、软件授权与开发适配成本、以及运维人力。其中硬件采购成本只是一次性的而电费和运维是持续支出。一台AI训练服务器跑满5年电费很可能已经接近甚至超过硬件原始采购成本尤其是随着单卡功耗不断走高这个比重还会上升。另外如果换了一个新生态芯片原有的软件栈、运维体系、监控工具都要跟着换这部分隐性成本往往比硬件差价大得多。我这次调研做了个小工具就是一张表格把候选芯片依次填入按照三年生命周期估算每万卡时的成本和有效总算力输出再比较每单位有效算力的成本。这个表格做下来很多表面上性价比很高的方案实际上并没有便宜多少。5. 市场格局与主要玩家扫描一句话记住一家AI芯片调研的核心输出之一是对市场格局的完整梳理。这个部分我不展开大篇幅的厂商介绍网上公开资料很多更有效的方式是把主要玩家按阵营和核心优势拆解成一张认知地图。5.1 GPU阵营通用训练的主战场GPU这一派的市场地位目前仍然非常稳固。从早期的V100到A100、H100再到最新的Blackwell架构每一代产品都成为了训练集群的事实标准。这个阵营的核心优势是软件生态成熟、集群扩展方案完整、市场保有量大产业链围绕它建立了丰富的工具链和运维经验。AMD的MI300系列是这一阵营的主要竞争者制程和HBM规格上都紧跟前沿软件生态也在持续完善比如ROCm对主流深度学习框架的适配度已经明显改善。但在调研中我的观察是MV模型验证环节容易出岔子的依然是软件栈细节和第三方库的兼容性这一点目前和GPU领头羊的CUDA相比仍有差距。5.2 自研ASIC阵营云厂商的野望自研ASIC的驱动力很简单当工作负载足够稳定、量足够大时直接造一颗专用芯片以降低单位算力成本。Google的TPU是这个路线的先行者从2015年走到今天已经迭代了很多代它的优势在AlphaFold、Gemini等自有模型和云服务场景中体现得相当明显。AWS的Trainium和Inferentia也是典型代表前者面向训练后者面向推理都搭配了自研的软件栈和云服务体系。国内云计算厂商和一些独立芯片设计公司比如华为昇腾、寒武纪等同样在这条路线上持续投入。它们的共同点是不追求通用场景的全覆盖而是聚焦Transformer类模型的主流负载把性价比做出来。这一阵营的调研要点是不能只看芯片要看它所在云平台上能提供多少配套服务。如果只给一颗芯片不给完整的分布式框架适配和生态支持那它很难在真实业务里落地。5.3 边缘与端侧AI芯片出货量被严重低估的角落说一个容易被忽略的事实按出货量计算全球使用最多的AI芯片并不是那些数据中心里的加速卡而是手机里的NPU、汽车里的自动驾驶芯片、摄像头里的图像处理单元。它们的单位算力不大但胜在功耗极低、集成度高、场景垂直。苹果的Neural Engine、高通的Hexagon NPU、联发科的APU还有各类端侧NPU IP都是这个方向的代表。端侧AI芯片的特点是推理时延要求极高、功耗预算极其苛刻、内存带宽非常有限所以设计思路和云端芯片很不一样。调研这部分时重点不是看TFLOPS而是看每瓦能够完成的有效推理次数例如每秒每瓦能跑多少次推理以及在受限条件下模型精度的保持情况。5.4 容易被忽略的隐形冠军除了主芯片AI芯片调研还会延伸到整个产业链。盘了一圈之后我自己的认知地图里多出了几个“隐形冠军”。HBM内存主要由SK海力士、三星、美光等少数供应商掌控在高端AI加速器里是不可或缺的关键部件存储带宽的走向基本由它们决定。先进封装产能主要集中在台积电等头部代工厂的CoWoS等工艺线上是高端AI芯片量产的卡点产能紧张时甚至会直接影响整机交付节奏。还有一个容易被忽视的环节是芯片IP比如ARM的CPU IP、RISC-V架构在某些端侧AI芯片里的扩展应用。这些在AI芯片的底层设计里扮演了重要角色。调研完整产业链的意义在于你能够理解一颗AI芯片从图纸到最终交付中间有多少道工艺和价值量转移也更能理解为什么有些芯片的供应周期和价格波动会超出预期。6. 部署场景决定芯片架构一个参数匹配不了所有需求AI芯片调研中最核心的判断不是“哪家芯片最强”而是“这个场景最适合哪类芯片”。很多讨论有争议本质上是因为大家拿不同场景的芯片在对比。6.1 训练场景最挑剔也最受限大规模训练对芯片的要求是全方位的大显存容量以装载大模型高带宽以持续供数强计算单元吃矩阵运算还要有高效的集群互连扩展能力。同时训练通常对精度要求更高主流采用BF16/FP16混合精度训练对低比特训练的支持还在快速演进中。在这个场景里单卡的峰值算力虽然重要但集群效率往往起决定性作用。几千张卡一起训练时如果每张卡的效率只有理论值的50%那集群总吞吐就只有一半。这也是为什么训练集群整机验收时很多团队会专门跑一遍真实模型用MFU来评估集群的实际性能。6.2 推理场景时延、吞吐和成本推理部署的需求比训练更分化。在线服务要求极低的时延比如对话机器人单Token间隔要控制在几十毫秒级别这需要硬件能在极短时间内完成一次前向计算离线批量处理则更看重吞吐量和单位成本跑得越快、成本越低越好。还有一个新出现的推理痛点随着上下文窗口不断拉长KV Cache占据的显存越来越大。KV Cache就是推理过程中需要缓存的历史键值信息窗口越长缓存越大直接影响能并发处理多少个请求。这颗芯片推理时的有效并发数和显存容量直接相关所以在调研推理芯片时显存容量比算力更值得关注。有些芯片推理算力很强但显存做不大实际能跑的并发就受限。另一个推理场景的关键技术是量化。把权重从FP16压到INT8甚至INT4能显著降低显存占用和计算开销同时对芯片的量化算力支持提出要求。调研时要具体看芯片对低比特计算的原生支持能力而不是只看最高精度的算力。6.3 端侧场景功耗和内存带宽的天花板端侧AI芯片的约束最死。手机、耳机、摄像头、机器人都要求SoC的功耗控制在几瓦甚至几百毫瓦级别算力不可能无限堆高。内存带宽更是向上限贴着屋顶走做不到像云端一样随意堆HBM。在这种约束下端侧芯片的竞争点转向了NPU的能效比、以及模型压缩技术在芯片上的配合度。比如手机厂商和芯片厂商联合优化将大模型量化到4比特后放进端侧再配合NPU的加速能力实现在本地跑出一部分生成式AI体验。这类落地案例的价值并不在于单卡算力数字而在于单位功耗下能跑出多好的效果。用一张表来总结不同场景的选型侧重点会比较直观部署场景首要指标次要指标生态权重典型芯片形态大模型训练集群MFU、显存容量互连带宽、软件栈完整度极高数据中心GPU/ASIC在线推理时延、并发度、KV Cache容量量化支持、吞吐高GPU/ASIC/FPGA端侧轻量推理能效比、内存带宽模型压缩配合度中手机SoC NPU等自动驾驶/机器视觉时延确定性、多模型并发能效比、功能安全高车规级NPU/ASIC7. AI芯片调研中的实用避坑建议调研做到最后我沉淀出几个对后续工作很有帮助的经验一并写出来供参考。第一个建议数据源必须交叉验证。厂商白皮书里的数据是最不客观的参考价值仅在于解读产品设计思路而不适合作为横向对比依据。权威一点的第三方评测、公开的性能测试报告、以及在一线做部署的人分享的实际数据三者各看一遍取交集才比较可靠。第二个建议看芯片之前先看它的软件栈和参考实现。如果一个芯片在GitHub上的官方示例仓库还只有几个小型模型跑通那大概率说明它的生态成熟度不够面对真实复杂模型时大概率会遇到各种坑。我就是靠这招筛掉了几个看似参数很强的方案实际上它们的工程团队确实反馈问题一大堆。第三个建议一定不要只看单卡要看集群。真实业务部署时单卡参数只决定上限集群效率才决定真实吞吐。有条件的话尽量找厂商或者已经落地的用户了解他们在真实模型上的集群MFU数据。这个数据比任何单卡指标都有说服力。第四个建议历史迭代节奏也要纳入考量。芯片的迭代速度决定了你采购的平台能不能有良好的延续性。比如同一软件栈下产品从上一代到下一代升级时兼容性做得够不够好直接决定了后续扩容时要不重构系统。芯片更新换代太快不是好事太快意味着你可能刚刚完成适配下一代就不兼容了。最后一个建议也是我踩过几次坑之后形成的习惯一开始调研时先建一个动态更新的对比模板把芯片参数、软件生态、适用场景、实测数据、供应链信息分栏记录每看到一个可靠信息就及时更新。这样调研结束时你手里的不是一堆散落的网页链接而是一张随时可以用来做决策的活表格。我后面的选型汇报就是直接基于这张表做的省了大量整理时间。这次调研给我最大的感受是AI芯片领域其实还没有进入稳定期技术路线、市场格局、软件生态都在快速变化。今天的最优选择两年后可能就会变得平庸。所以与其把精力花在寻找那个“最强芯片”上不如建立一套评估方法让自己随时能客观地评估新出现的选项。这套方法论才是所谓调研真正能留下来的东西。