AI芯片调研实战笔记：从算力指标到选型落地

给甲方做AI芯片调研我整理了一份能直接用的实战笔记入行这些年接过不少AI芯片相关的调研需求。说实话这玩意儿比大多数技术调研都难做它横跨半导体工艺、计算机体系结构、软件生态、算法部署、市场竞争格局任何一个维度单独拎出来都能写一本书。甲方爸爸通常只给一个模糊的目标——想知道该选哪家的卡、该不该自研、未来趋势怎么走——剩下全靠调研的人自己往深里挖。我最近又完整地跑了一轮调研流程从需求拆解到最终报告输出整个过程踩了不少坑也攒下了一套比较顺手的打法。这篇东西不聊空泛的概念直接把我的调研方法、信息源、分析框架、避坑清单全部摊开给同样在啃这个方向的同行做个参考。1. 从需求到地图先把AI芯片的版图摊开1.1 需求拆解甲方到底想问什么做AI芯片调研第一件事不是去翻新闻而是把甲方的真实意图搞清楚。我遇到过的需求大概分四类第一类是选型型最常见。甲方有明确的业务场景比如要做AIGC推理、要做端侧智能硬件想知道市面上哪款芯片性价比最高选GPU还是ASIC选进口还是国产。第二类是投资型甲方是投资机构或产业园区想知道赛道里哪些团队值得看、哪些方向有长期价值需要的是技术壁垒分析和竞争格局判断。第三类是战略型甲方是大型企业或研究机构考虑要不要自研芯片需要知道自研的话投入多大、周期多长、成功率如何。第四类是情报型甲方想了解特定竞争对手的产品路线图和真实落地情况。不同类型决定了报告的重心和颗粒度。我见过最惨烈的翻车案例是给一个做端侧智能摄像头的团队甩了一份云端大模型算力分析——方向完全错位整个报告等于白做。所以拿到需求后我会先花半天时间确认三件事业务场景、决策层级、交付形式。业务场景决定技术坐标系决策层级决定报告深度——给CTO看要讲架构和生态给CEO看要讲成本和ROI给投资人看要讲格局和壁垒。1.2 建立坐标系一张表看懂AI芯片全景和甲方对齐需求后我会先画一张“AI芯片产业坐标系”。这张坐标系由三个轴构成技术架构轴、部署位置轴、应用场景轴它们交叉形成AI芯片的全景地图。技术架构轴包括通用芯片和专用芯片两大类。通用芯片主要包括GPU、CPU和FPGA专用芯片主要是ASIC以及各种NPU、TPU、VPU。我见过不少调研报告把GPU和AI芯片对立起来这是个很大的误解——GPU是当前AI算力的绝对主力它就是AI芯片这个大类里的重要成员。部署位置轴分为云、边、端三级。云端追求绝对算力和高吞吐边缘侧需要在算力和功耗之间找平衡端侧则把低功耗、低延迟和成本控制放到首位。应用场景轴覆盖训练、推理、多模态大模型、自动驾驶、智能制造、具身智能等方向。三者交叉下来芯片的竞争力评价标准完全不同——一款云端训练芯片的核心指标是算力密度和互联带宽一款端侧芯片的核心指标却是单位功耗算力和内存带宽拿错尺子去量会闹笑话。1.3 竞争对手与技术路线图同步梳理建完坐标系之后下一步是把主要玩家和对应技术路线放进图里。这一步我会做一个“玩家-架构-产品-状态”四列矩阵把英伟达、AMD、英特尔、谷歌、亚马逊、华为昇腾、寒武纪、壁仞科技、燧原科技、摩尔线程等厂商一一归档注明各自产品的技术架构、制程工艺、算力参数、量产状态。技术路线图方面顶级芯片厂商的产品路线图通常覆盖未来两代产品调研时要把尚在纸面上的规划版本和已量产的版本严格分开不然很容易被市场宣传带偏节奏。2. 硬核指标拆解算力、带宽、互联、能耗怎么看2.1 算力指标TOPS和TFLOPS那么多到底看哪个AI芯片最常被引用的数据是算力。但算力这个数字背后有巨大的坑——不较真单位会被厂商宣传带偏。算力单位至少分三种稠密算力、稀疏算力、峰值算力。稠密算力指所有矩阵计算都是满负荷的有效计算稀疏算力则是利用权重矩阵里的零元素跳过部分计算获得的加速比。厂商通常会宣传稀疏算力因为数字更好看。业内有个不太好听的共识英伟达的官网数据通常标注“含稀疏”国产芯片厂商更喜欢用FP16稠密算力来对标因为比出更大的数字。单位方面要看清楚是INT8还是FP16还是FP32。不同精度的算力数值差异极大——同样一块卡FP16算力可能是FP32的两倍INT8可能是FP32的四倍。大模型训练通常用FP16或BF16推理场景普遍用INT8甚至更低精度。比对的时候一定要把所有数值统一到相同精度和相同稀疏性定义下否则比较毫无意义。2.2 内存带宽与容量大模型时代的一切瓶颈很多刚入行的人盯着一块芯片的TOPS值使劲看却忽略了另一个要命指标内存带宽。大模型推理是典型的内存带宽敏感场景——算力再高数据来不及从内存送到计算单元芯片也只能空转。以LLaMA-7B这样的小参数量模型为例加载完整权重就需要14GB显存推理过程中每生成一个token都需要把全部权重从头到尾读一遍。假设每秒想生成20个token那么光读取权重就需要至少280GB/s的带宽这还完全没算KV Cache和其他开销。把规模放到175B参数的GPT-3级别模型权重就要350GB单卡内存都装不下更别提带宽需求。这就是为什么H100具备3.35TB/s的HBM3带宽、A100具备2TB/s的HBM2e带宽——它们不约而同地把内存带宽作为核心设计目标。容量同样关键。当前主流旗舰卡的显存已经从40GB向80GB、144GB甚至192GB迈进原因是超大模型的参数和KV Cache把显存越吃越紧。调研时我通常会把“模型大小KV Cache开销服务并发数”代入公式先测算显存需求再反推需要什么规格的卡。太多调研报告只写“XX卡支持XXGB显存”完全不算够不够用这种报告在懂行的人面前是经不起追问的。2.3 互联能力单卡很猛集群拉胯是通病AI芯片调研如果只看单卡指标会严重失真。真实的大模型训练是千卡、万卡集群协同的工作负载单卡计算完要频繁交换梯度互联带宽决定了集群规模能拉到多大、线性加速比能保到多少。英伟达目前用NVLink做卡间高速互联和NVSwitch做节点内全互联H100的NVLink带宽是900GB/s到了最新的B200已经提升到1.8TB/s。如果把视野放大到节点之间的Scale-Out网络那就是InfiniBand和RoCEv2的战场了。AMD做对应的方案是Infinity Fabric带宽和生态目前都还有差距。国产芯片层面华为昇腾通过HCCS互联方案实现了卡间高速通信但平心而论距离英伟达的NVLink体系还有距离光模块和交换机依赖也在逐步解决中。调研互联能力时我会重点看三个数字卡间互联带宽、节点内互联拓扑、跨节点时延。还要去翻真实用户的评测报告比如大模型训练时的MFU模型浮点利用率。同样的GPU集群规模越大、训练框架优化越好MFU数值就越高。很多厂商鼓吹的算力指标在单卡测试时很好看一上集群就暴露互联短板这也是国产芯片在训练集群场景下口碑两极分化的主要原因。2.4 能效比与功耗电费才是算力的长期成本芯片的纸面算力再高如果功耗控制不住数据中心会先崩溃。H100的TDP是700WB200更是到了1000W以上单机柜功耗密度越来越高散热方案从风冷被迫转向液冷追踪芯片调研时甚至要考虑数据中心的电力容量规划。能效比指标要看的单位是“瓦特每TFLOPS”或者“每瓦每秒能处理多少token”。这个指标在端侧芯片和边缘场景中优先级极高——低功耗意味着电池续航更长、温控更简单、部署成本更低。端侧AI芯片但凡标称算力高得离谱但功耗控制不住通常都是靠牺牲制程功耗优化达成的或者跑分数字有猫腻。我一般会把功耗和算力绑在一起看单看任何一方都会得出错误选型结论。3. 主流玩家的产品矩阵与竞争力评估3.1 英伟达从GPU厂商到全栈算力平台英伟达是任何AI芯片调研都绕不开的基准线。这家公司的厉害之处在于它不仅硬件强而且是目前唯一一个做到了“从芯片到网络到软件生态到预训练模型”全栈打通的厂商。硬件层面从V100、A100到H100、H200再到2024年的B200每一代都保持代际性能和显存的显著提升。网络层面NVLink和InfiniBand的组合让万卡集群变成工程上可落地的方案。软件层面CUDA生态积累了近二十年从底层驱动到框架适配到算子库到分布式通信库几乎做到“什么模型都可以直接运行”。调研英伟达时我特别看重两个数据点一是CUDA开发者数量这是生态护城河的核心指标二是其在各大数据中心真实部署的覆盖率这决定了它业绩的确定性。产品序列还要关注推理专用产品比如基于Ampere架构的A30、基于Hopper架构面向推理优化的L40S等它们在大模型推理场景的性价比各有差异需要按实际用途对比。3.2 AMD与英特尔追赶者手牌原理不差落差在生态AMD在MI300系列上做了很激进的架构创新。MI300X采用Chiplet设计把CPU和GPU芯粒拼装在同一基板上最大内存容量做到了192GB带宽也压到了H100同档。纸面指标相当能打不少机构评估认为MI300X在纯大模型推理场景已经具备与H100掰手腕的能力。AMD的ROCm软件栈这几年进步明显但同CUDA相比仍有关键短板特别是在算子库覆盖面和框架兼容性上。英特尔的Gaudi系列选择了一条差异化路线——在HBM带宽上堆料同时把价格压到同级别英伟达产品的三分之二到一半。Gaudi 3在部分推理负载实测中表现还不错但真正制约它的是软件生态和客户信任度。英特尔在CPU市场的优势反而让它获得了一个独特卖点——如果你本身就有大量英特尔CPU服务器上Gaudi整体架构决策会更顺滑。调研时对这两家的评价要分开看硬件潜力是实打实的生态短板也是实打实的具体选不选取决于甲方对生态容忍度。3.3 国产芯片的生存空间与真实水平给甲方做调研国产芯片是绕不开的话题。昇腾910B系列在2023年底到2024年初掀起过一波热潮不少头部云厂商和AI公司开始批量采购。从实测数据来看910B在FP16算力上逼近A100水平但集群训练的稳定性和互联性能仍然有差距。后面推出的昇腾910C在多个指标上做了改良主要补齐了互联和内存带宽。华为昇腾的优势是全栈自研、软硬件协同深度优化加上CANN软件栈和MindSpore框架的配合在国内市场接受度提升很快。除了昇腾寒武纪的思元系列、壁仞科技的BR100系列、燧原科技的云燧系列各有侧重。寒武纪在端侧和推理侧部署案例更丰富壁仞在大算力训练方向上做了尝试燧原在互联网客户的推理场景中有了规模化验证。调研这部分的关键是区分“送测样片”和“规模量产”两个状态——相当多国产芯片产品还停留在流片成功和小批量送测阶段距离大规模量产和稳定交付还有很长的路。真正的落地验证要看是否进入头部云厂商的数据中心或者是在大模型推理的真实业务中长期稳定运行。3.4 谷歌TPU与亚马逊Trainium云厂商自研的鲶鱼效应谷歌TPU是云厂商自研芯片里历史最久、技术最成熟的一个。TPU从v1到v4再到最新的TPU v5p和Trillium每一代都在强化互联能力和内存容量。TPU不单独售卖而是通过Google Cloud以云服务方式提供生态封闭但好用——配合JAX和TensorFlow框架在谷歌云内部的一致性体验非常好。调研TPU的价值在于理解AI芯片的另一种商业模式从卖卡转向卖算力服务。亚马逊Trainium和Inferentia走的是更务实的路子——不追求通用性聚焦深度学习训练和推理中的常见算子做深度优化。Trainium2在成本上有明显优势配合亚马逊自家云的弹性计费模式吸引了不少有成本压力的公司。云厂商自研芯片的整体逻辑是把算力成本结构重新梳理一遍用自研芯片取代部分英伟达采购从而在建数据中心和云服务定价上掌握更多主动权。4. 软件生态与落地场景芯片之争的本质是生态之争4.1 CUDA生态的护城河到底有多深很多非技术背景的调研需求方不太理解为什么英伟达芯片算力不一定是最高但市场地位却难以撼动。核心就在CUDA生态。CUDA早在2007年就推出了十几年积累下来全球数百万开发者的代码、工具、学习路径、调试习惯都长在CUDA之上。任何新芯片想取代英伟达硬件达到8成水平容易但要在软件层面让客户平滑迁移难度要高出两个数量级。具体点说一个完整的AI软件栈包括底层驱动、算子实现库、深度学习框架适配、分布式训练通信库、推理优化工具、集群调度平台。CUDA生态在每个层面都有对应的成熟组件——cuBLAS、cuDNN、NCCL、TensorRT、Triton Inference Server这些组件经过无数生产环境的打磨bug少、文档全、社区主动分享踩坑经验。新芯片的软件栈即便齐全离“开箱即用”也差得很远通常还需要甲方自己投入工程师一起做适配优化。4.2 国产芯片软件栈的“最后一公里”问题国产芯片的软件生态这几年进步很快但“最后一公里”问题依然真实存在。昇腾的CANN在算子覆盖率和性能上逐年逼近CUDA但它的设计哲学是深度优化自家硬件——算子实现贴合自家芯片架构迁移进来后部分模型确实能跑出不错的性能问题是一旦模型结构比较新、包含不常见算子时需要手工编写或调优算子这个工作量是不少算法团队不愿意承担的。寒武纪的基础软件平台和壁仞的BIRENSUPA也都在拼命补齐生态短板。调研国产芯片时我每次都会追问三个问题常见的开源大模型LLaMA、Qwen、ChatGLM在这套生态上能不能直接跑通主流框架PyTorch、MindSpore的适配版本支持是否完善如果要用一个CUDA生态里的高级特性需要多少额外开发成本这三个问题能把软件栈的真实成熟度测出七八成。4.3 端侧AI芯片的火爆手机、车机、机器人、眼镜只盯着云端大算力芯片会漏掉AI芯片市场里增长最迅猛的一块——端侧。手机端NPU已经是标配高通骁龙、联发科天玑、苹果A系列和骁龙平台里的NPU单元都在持续迭代端侧大模型应用也开始从语音助手扩展到实时翻译、图文生成。车端的高通8295、英伟达Orin和Thor、地平线征程系列属于自动驾驶的算力核心。机器人、AI眼镜、智能家居是新一波端侧AI需求的爆发点。端侧芯片的调研逻辑和云端完全不同。云端看的是绝对算力和集群规模端侧看的是单位功耗下的推理能力、内存带宽、延迟、成本。以AI眼镜场景为例芯片要在不到1W的功耗约束下完成实时视觉理解同时成本要压到几十美元以内这个约束条件会把绝大多数云端芯片直接排除。选端侧芯片时我还会特别关注各家对INT4、INT8精度的支持效率因为端侧模型压缩后普遍用低精度做推理低精度算力指标才更能反映真实性能。4.4 大模型推理的经济学RASIC和Chiplet的想象力调研到这一层我通常会追问一个更前沿的问题现有架构还有多少优化空间答案芯片行业正在两条截然不同的路线上探索。一条是更激进的架构创新例如特斯拉的Dojo和部分创业公司押注的RASIC可重构ASIC它们想在通用性和专用性之间找到新的平衡点——按计算模式动态重构兼顾大模型的矩阵算力需求和传统负载的兼容性。另一条是系统级整合Chiplet技术把计算芯粒、内存芯粒、IO芯粒灵活拼接既缓解了先进制程成本飙升的压力又让不同功能的芯粒可以独立迭代升级。调研报告中我会把这部分单独成章它的意义不是马上回答“选哪家”而是帮甲方看清未来3-5年的技术演进方向。5. 调研方法工具箱信息源、评估框架、避坑清单5.1 信息源分级与可信度打分AI芯片调研最难的环节之一是信息源的筛选。厂商发布的新闻稿水分最重很多宣传数字经不起推敲媒体和自媒体的评测报告质量参差不齐有的连算力单位都没搞清就敢对产品下结论。我的做法是信息源分三层第一层是厂商官方技术白皮书和开发者文档这些是数据准确性的基准但要看懂宣传口径背后的统计方法。第二层是独立机构测评MLPerf的官方榜单那些多次参与系统评测的实验室公开数据。半导体行业研究机构如IDC、Gartner、TrendForce的季度报告覆盖产业动态和大盘数据用来建立宏观框架很有价值。第三层是GitHub和知乎上的开发者实测讨论特别是那些贴出真实训练日志、实测吞吐数据的内容往往比任何官方材料都更接近真实性能。5.2 四步评估法纸上谈兵到落地评估信息收集完成后我有一个固定的四步评估流程第一步是把所有芯片的指标统一口径。算力统一到指定精度和稀疏性定义显存统一按有效带宽计算功耗统一按实际运行场景取值。第二步是代入甲方的真实业务负载做测算——甲方要跑的是7B还是70B参数的模型推理并发是多大量训练集群预期多少卡算力需求用具体模型代入而非抽象数字参照。第三步是做成本和供应链分析。单卡采购价、服务器整机成本、机房电力改造费用、散热成本、维保成本全部放进去算整体拥有成本。供应链层面看芯片的获取难度、交付周期、是否有贸易合规风险。第四步是POC验证——有条件的甲方一定要拿真实模型在候选芯片上做小规模实测。纸上参数再好看不如实际跑一遍训练、压测一轮推理来得可靠。5.3 调研报告的常见坑位总结经验教训AI芯片调研报告里翻车率最高的坑位大概是这几个第一被“峰值算力”带节奏。单纯看峰值数字选型忽略了真实业务的有效算力远低于峰值差距可能达到30%到50%取决于模型结构、框架优化程度、混合并行策略。第二拿英伟达做唯一对标。英伟达是基准但不能只看英伟达AMD、谷歌、国产芯片各有各的生存空间要按业务场景匹配。第三忽视互联生态的隐性成本。很多报告算准了芯片单价却不把网络设备、集群调优人力、分布式框架适配成本算进去最后预算偏离一大截。第四对国产芯片“一刀切”。国产化和自研是个复杂的谱系有全自研的、有基于国外IP做集成的有真正量产的、有还在PPT阶段的笼统判断远不如逐个产品做技术拆解。第五忽略功耗与散热的连锁反应。换用高功耗芯片不只是多交电费还涉及机柜改造、液冷部署、机房承重等一系列问题常常是一票否决项。6. 未来趋势判断与结论如何落地6.1 三个确定方向系统级优化、边缘推理爆发、异构计算走向主流基于调研信息我会给甲方提炼几个趋势判断。第一个是系统协同优化成为主战场。单芯片性能提升速度正在放缓系统级优化——高速互联、内存池化、集群调度——成为性能倍增器。第二个是边缘推理的市场增速将长期高于云端训练端侧大模型应用会持续拉动低功耗AI芯片的需求这类市场存在大量卡位机会。第三个是异构计算走向主流——CPU、GPU、NPU、FPGA各司其职并非单一芯片包打天下数据中心和端侧设备都会朝着混合架构演进。6.2 对三类角色的差异化建议针对不同角色我的结论建议会完全分开写给技术选型决策者的建议是清晰定义负载类型是训练为主还是推理为主、大模型为主还是传统CV/NLP为主再匹配芯片类别。给投资和产业研究者的建议是除关注旗舰芯片的指标外多关注量产能力、客户真实复购率和生态建设速度这些是更具含金量的指标。给战略决策者的建议是自研芯片门槛极高无论是人才、投入还是时间周期都远超一般预期多数情况下与头部芯片厂商深度绑定合作比自己造芯片更务实真要自研也要从场景驱动的小芯片切入而非一上来就对标旗舰训练芯片。7. 写在调研之后这份调研方案并不是一套放之四海皆准的模板——每个甲方的业务背景和决策诉求都不相同调研侧重也必然不同。但方法和框架是通用的先拆解需求再建立坐标系然后统一口径做硬指标对比接着穿透软件生态和系统能力最后落到成本、风险、业务适配的综合评估。沿着这条路径走下来AI芯片调研基本上不会跑偏。我个人的感受是AI芯片领域是少有的“信息差即决策质量差”的行业。纸面参数背后藏着大量不可见的细节例如集群实际效率、软件栈成熟度、供应链韧性——这些恰恰是决定成败的关键。带着这一套框架去看任何一款AI芯片至少不会被发布会上的光鲜数字带着走也能给决策层交付一份真正经得起追问的分析。