昇腾960超节点首发NPO：近封装光互连重塑AI集群效能

1. 超节点为什么要在“互联”上做文章1.1 千卡集群的瓶颈早就从芯片挪到了管道最近圈内热度最高的新闻莫过于昇腾960超节点首发NPO。很多不搞并行训练的人可能不理解为什么一次互联技术的首发会引发这么大关注。但你要是亲手把一套千卡规模的训练任务跑起来过就知道这里面的分量。做大模型训练的人都清楚单卡算力再猛放到一万张卡的环境里你真正能用上的可能连一半都不到。原因非常简单Transformer训练过程中的AllReduce、AllToAll这类集合通信操作会把大量中间梯度在卡与卡之间来回搬运。当卡数从512张涨到4096张通信量不是线性增长而是呈超线性增长。通信占比一旦超过30%后端计算单元就开始空转整批训练任务的有效吞吐断崖式下跌。算力竞争打到现在拼的早就不只是FLOPs这个数字而是“卡跟卡之间能不能把数据以足够快、足够稳、足够省电的方式送过去”。昇腾960超节点首发NPO本质上就是要把这条“管道”重新做一遍。NPO全称Near-Packet Optics直译过来是“近包光学互联”它把光引擎从传统的可插拔模块位置挪到距离计算芯片和交换芯片非常近的地方用高密度光互连把几十、上百颗AI芯片统合成一个逻辑上的“超级GPU”。这个思路和过去几年厂商普遍追求“单卡性能翻倍”的路线完全不同它赌的是互联底层的系统收益。1.2 电互连已经逼近能效天花板光的入场是必然要理解NPO的份量得先看电互连今天的处境。传统高速互连依赖PCB上的铜走线传输电信号信号频率越高铜线里的损耗、串扰和发热就越难处理。工程上为了延长铜线的传输距离只能塞ARM SerDes和重定时器把信号一遍遍地整形放大。问题在于这些重定时器本身也在消耗功耗也占了板卡面积。到了单通道112G甚至224G的电信号时代PCB上的走线距离稍微一拉长链路预算就很难看最后要么降速要么加昂贵的低损耗板材。光互连不受这个约束。光信号在光纤里跑几十米到几百米损耗都比铜线跑几厘米更可控而且光纤没有串扰问题线径还细。所以在数据中心的长距离场景里光模块早就站稳了脚。但过去的光模块是可插拔形态光引擎装在一个金属壳子里插在设备面板上。面板空间有限端口密度上不去每次信号从PCB走到面板还要经过很长的电通道和多个连接器这就把光模块的功耗和延迟都拉高了。超节点内部需要的是极短距离几十厘米到几米、高带宽、极低功耗的die-to-die互联传统可插拔光模块在这个场景里一点都不性感。所以业内才往共封装光学CPO和近封装光学NPO这两个方向走核心思想都是同一个把光引擎尽可能往计算或交换芯片边上挪砍掉中间那段又长又耗电的电通道。昇腾960超节点选择首发NPO而不是直接上CPO背后是有非常现实的工程考量的。1.3 昇腾960超节点为什么选NPO这条技术路线NPO和CPO的差别后面我会专门拆开讲。这里想先说明昇腾960超节点做这个选择的大逻辑。超节点是一个机柜级甚至柜组级系统里面几十张到几百张卡如果每张卡之间都走传统网络线缆体积、重量、功耗都会爆炸如果所有互联都走纯电信号端口数和功耗又撑不住。光引擎必须“下放”到离芯片非常近的位置而且要做到可以单独测试、单独维护不能在整机封装里一坏就报废。NPO的巧劲在于它不搞“零距离”而是搞“超短距离”。光引擎不是直接和计算芯片做进同一个封装里而是尽可能贴近计算芯片所在的基板区域通过极短的高速率电连接完成信号转换。这样既拿到了接近CPO的带宽密度收益又保留了传统光学器件在测试和维护上的灵活性。对昇腾960这样面向超大规模集群交付的产品来说这条折中路线的良率和可维护性优势可能比CPO那种一步到位更有意义。2. NPO到底是什么一次把光引擎“往前放”的技术跃迁2.1 从可插拔光模块到CPO再到NPO光互连发展这些年可以看到一个非常明确的主线光引擎离数据处理芯片越来越近。最早是可插拔光模块。光引擎封装在一个可插拔的笼子里插在交换面板上。这个形态的好处是标准化、易维护坏了一个直接拔掉换新的兼容性也很好。代价是信号要从主芯片经过很长一段PCB走线穿过多颗重定时器最后到面板连接器走线功耗高、延迟大、端口密度受面板面积限制。后来出现CPO即共封装光学。光引擎直接和交换芯片、计算芯片封装在一起光信号从芯片边缘就能进光纤。这个方案的带宽密度非常诱人功耗也降下来了但工程落地很难。光引擎的可靠性再高也没有电芯片那么皮实。一旦光的部分出现故障整个大封装都要一起报废良率和维护成本非常难看。因此CPO喊了多年真正大批量商用的场景一直有限。NPO处在这两者之间的中间位置。光引擎虽说没有和主芯片封装在同一个基板里但通过极短的基板走线或者微凸块连接把光引擎紧凑地贴在主芯片封装基板的边缘或近旁。它和CPO共享了“缩短电通道”的核心设计思想又保留了光学器件“可以先测试、后续可返修”的工程可能性。昇腾960超节点直接把这个形态放到了量产前沿等于把行业里争论了好几年的技术路线推到了真正的产品化验证阶段。2.2 NPO相对CPO和可插拔模块的取舍表拿一张表来对比这三种形态会更清楚维度可插拔光模块CPONPO光引擎位置设备面板插槽内与主芯片同一封装基板贴近主芯片封装、独立可测电信号路径长度很长需多颗重定时器极短直接对接芯片管脚很短近距离高速走线端口密度与带宽密度受面板面积限制最高高短距功耗高低低维护性好差中等良率压力低高中规模化量产成熟度成熟挑战较大昇腾960超节点正往前推表格里最值得看的是“维护性”和“良率压力”这两行。超节点这个产品形态动辄承载几十上百张卡单机价值非常高厂商绝对不敢用“坏了整体报废”的方案来赌全局。NPO相当于既拿到了CPO在带宽密度和功耗上的优势又保留了相对可操作的后端维护路径。商业上这是一个非常理性的选择。2.3 NPO是给超节点量身定做的“短距高速”方案适合NPO的场景恰好就是超节点内部这种“机柜内几米距离、几百个端口、海量带宽”的互联需求。传统可插拔光模块解决的问题是“从一栋楼的交换机到另一栋楼的交换机之间怎么通”距离从几米到几公里都很灵活但这种灵活性在超节点内部反而是浪费。超节点里最需要的是把几十张卡之间的通信时延压到最低同时把单位面积的带宽密度拉满。NPO就是冲着这个来的。这套逻辑其实很像城市交通。可插拔光模块是城市的省级高速公路负责跨区域长途干线NPO则是城市内部的快速路网专门解决核心城区内密集但短途的车流。超节点内部绝不该拿“省级高速”的标准来建设那样入口匝道排队和收费站检查会把你堵死。NPO把光互连直接修到数据处理芯片家门口短途高密度的通信效率自然完全不同。昇腾960超节点这次把NPO放到首发位置本质上就是在干这件事。3. 昇腾960超节点首发NPO架构上到底动了哪里3.1 机柜级“单体显卡”的互联拓扑从架构层面看昇腾960超节点要做的是把大量昇腾计算die组织成一个对外呈现为“单块巨型AI芯片”的系统。传统集群里卡与卡之间通过交换机做二层或三层组网通信要跨越物理链路走STP、ECMP这些网络协议延迟和抖动都不可控。超节点的思路完全不同用一个高带宽、低跳数的内部互联平面把所有计算die纳入同一个Scale-up域通信路径大幅缩短对外更像一块超大的GPU而不是一个“机柜里塞了几十台服务器”。在这个拓扑下NPO光引擎承担的角色就是每颗昇腾die通往互联平面的“收费站”。每个计算die不再走传统PCIe或以太网通过电通道出机柜而是通过极短的高密度电连接把数据交给邻近的NPO光引擎再由光引擎转成光信号送入机柜内的光交换平面。由于光交换矩阵本身可以做到大量端口并行转发整个超节点就有了一个近乎无损的内部交换网。这种架构带来的直接收益是集合通信的位置发生了改变。以前跨节点通信要经过网卡、交换芯片、光模块层层转发现在一个超节点内部的任何两颗die之间都可以通过光交换矩阵以极低跳数直达。用训练任务的话来说大部分AllReduce流量不再需要跑到外部交换机去绕一圈通信时间可以压缩到原来的几分之一。昇腾960超节点敢把声势造得这么足底气就在这里。3.2 带宽和功耗的账该怎么算NPO的价值要落到算账上才有说服力。我们可以做一个粗糙但直观的估算。假设超节点内单张昇腾算力卡需要8Tbps级别的内部互联带宽。如果走传统可插拔光模块8Tbps意味着接近10个800G光模块单模块加配套电路大约要15到18瓦光连接器、重定时器、面板布局都会占用大量物理空间。折算下来单卡互联功耗轻轻松松过150瓦。这放在384卡的超节点里互联系统总功耗会变成50千瓦以上的巨大热源散热代价高到吓人。如果走NPO每个光引擎直接贴近计算die信号不用重定时器翻来覆去地整形单通道能耗大幅下降。按目前产业链常见的200G/lane PAM4能力要凑齐8Tbps带宽只需要40个NPO lane按每lane一瓦多的功耗来算整个互联侧的功耗可以控制在50瓦上下比可插拔光模块方案降一半还多。考虑到超节点是7×24小时满载运行这个功耗差距在一年电费上的差别会非常惊人。还要算延迟账。传统可插拔方案里信号从计算芯片出来到网卡、重定时器、面板连接器走一遭来回十几纳秒很正常。NPO把光引擎放到离die极近的位置光信号几乎一到基板边缘就进光纤这个电气路径大幅缩短单跳延迟能压到个位数纳秒以内。超节点里做AllToAll这类对延迟极度敏感的操作时这几十纳秒的节省会直接转化为通信步的加速最后体现在整个训练任务的总时长上。3.3 软件与集合通信要怎样接住新硬件硬件架构变了软件栈也得跟着改。昇腾超节点内部的集合通信库过去是按“树形/环形跨交换机”的模型做优化的现在NPO给出了一个高带宽、低跳数、近乎全互联的底层环境通信库的优化维度就变了。第一件事是拓扑感知。通信库需要知道哪些die之间的链路是近封装光互连哪些需要远距离绕行。有了这张“通信地图”AllReduce可以优先走机柜内部的高带宽NPO通道把流量尽量压在超节点内部不占用外部Scale-up出口。第二件事是流控和拥塞感知。NPO光链路和传统以太网链路特性不一样重传机制、Buffer大小、流量整形参数都不能照搬。第三个值得期待的方向是远端内存语义。当超节点内部互连等效成一块超级芯片后跨die读写远端内存的粒度可以做得非常细甚至接近共享内存体验。这个特性对超大模型的张量并行特别友好模型状态分区在芯片之间流转的粒度更细通信模式更规整。昇腾960超节点这次首发NPO除了硬件首发我相信配套的HCCL集合通信库也会有相应更新。因为互联硬件只提供“管道”能不能把管道用满还得看软件调度是否做得到。两者配合起来才能把超节点内部通信延迟和调度抖动压到真正可接受的范围。4. 从单卡制胜到系统制胜为什么NPO被视为赛道改写者4.1 竞争单元变了从“芯片”变成“机柜”过去几年AI芯片竞争大家习惯拿单卡算力数字、显存容量、带宽来PK。但昇腾960超节点这种做法把竞争单元从单片芯片直接拉升到了机柜级系统。一个超节点就是一台“巨型GPU”它比拼的是整个系统的组装密度、供电方案、散热方案、光互连方案以及配套软件的综合工程能力。这意味着什么意味着单点芯片的绝对领先优势不足以决定最终系统的胜败。一颗裸芯片算力再高如果不能在超节点里和其他die高效协同它只能用在小规模推理场景反之一颗算力不是最极端但互联极其均衡的芯片组成超节点后反而能在大规模训练任务上表现得更好。NPO首发就是在这个维度上给昇腾960超节点加了关键一枚砝码。它把系统中过去最烦琐、最不可控的互联环节做扎实了整个机柜的可用算力就上来了。国际上那些头部超节点方案也都在往“大互联域”方向走只不过有的还在用传统高速电互连加外部网络的组合。昇腾960超节点在互联底层上快了一步等于把“机柜内大带宽光互连”这个规格直接抬到了量产标准线。后续任何对手做超节点时都绕不开“光引擎到底放在哪、怎么封装、怎么维护”这些极其硬核的工程问题。技术路线一旦被量产跑通整个赛道的参照物就换了这就是“改写赛道”的底层含义。4.2 产业链话语权开始流向光互连从更宏观的产业视角看NPO首发还会带动一批新供应链环节走到前台。传统电子服务器里最关键的器件是CPU、GPU、网卡、交换机芯片光模块只是一个外设。但到了昇腾960超节点这个形态NPO光引擎和光交换平面从“外设”变成了“心脏级”组件。整个系统能不能成取决于硅光芯片设计、激光器封装、高密度光纤阵列对准、光引擎老化和测试这些光学工程能力。这会直接改写上下游的利润分配和话语权。以前做光模块的厂商靠拼良率和成本就能活下去但在NPO时代他们得深度参与系统级封装设计和芯片厂一起定义光电接口。反过来原本只擅长PCB和电子设计的团队也要被迫理解光路设计和耦合工艺。整个算力供应链的技术门槛被拉高了一层。昇腾960超节点把NPO作为首发卖点真正的产业影响是那些在硅光、相干探测、微环调制、光交换矩阵上有积累的团队突然多了一条价值极高的赛道。技术路线切换期往往是新玩家最容易拿到“新赛道钥匙”的时候。4.3 集群效率成为新一代算力名片单纯拼“单卡峰值算力”已经说服不了懂行的买家。今天AI基础设施负责人真正关心的问题是八千卡训练集群实际跑起来MFU模型算力利用率是多少一千张卡跑7天训练任务中断几次每次熔断保护要重算多少轮最终有效算力占理论峰值的百分比是多少这些问题的答案高度依赖互联质量和系统调度能力。昇腾960超节点首发NPO直接把“能不能把大规模集群跑高效”这个问题摆到了台面上。互联带宽、功耗、延迟在底层做到了什么水平决定了超节点在真实负载下的表现上限。当NPO把通信瓶颈打通剩下的注意力就可以集中到计算和调度上这比单纯堆更多卡要健康得多。对一个客户来说算力租赁或者采购决策里最有说服力的永远是“我这套超节点拿一个训练模型实测的收敛时间是多少”而不是一张演讲PPT上的峰值算力数字。所以NPO这个选择更像是在表达一个态度我不跟你拼纸面参数我拼整机柜跑训练的真实效率。5. 关于NPO的三个认知陷阱和两个现实提醒5.1 认知陷阱一NPO就是CPO换了个名字NPO确实和CPO共享很多技术理念但在工程落地和部署位置上差别很大。CPO强调光引擎与主芯片共封装光引擎坏掉等于整颗大芯片报废维护动作极其有限。NPO的光引擎是更靠近主芯片但保留了独立测试和返修的空间。这中间的差别直接决定了量产良率、故障隔离策略和备件体系。把NPO理解成“CPO换名”会低估它在工程落地上的难度。5.2 认知陷阱二光一定比电快这个说法不严谨。光在长距离和高带宽密度的场景下比电有明显优势但在极短距离的die-to-die通信里纯电互连的延迟可能更低因为不需要光电转换。NPO的价值不是在一切场景里取代电而是把光放在它能发挥优势的距离段上电通道仍然承担最靠近芯片的短途传输。两者是协作关系不是替代关系。5.3 认知陷阱三NPO上了可插拔光模块就该退场了超节点内部用NPO解决短距高密度互联但超节点和超节点之间、集群和控制中心之间仍然需要长距离传输。可插拔光模块在这些场景里成熟、灵活、兼容性好不会因为NPO出现就消失。未来更可能是“超节点内部NPO 超节点外部可插拔光模块”并存的架构。如果谁拿NPO来否定整个可插拔光模块产业那是过度解读。5.4 现实提醒一光交换的调度依然在电域NPO把光引擎挪近了不等于数据包转发过程完全变成“纯光处理”。说到底数据包的业务调度、流控、拥塞管理还是要靠电子逻辑完成光主要负责高带宽、低功耗的数据面传输。所以昇腾960超节点里的光交换矩阵需要有非常强悍的控制平面配合否则光路再快调度不到位照样会拥塞。这也是为什么超节点方案里软件栈比硬件本身更能决定最终表现的走向。5.5 现实提醒二散热和光路维护是隐藏难点贴得近散热压力就集中。光引擎的激光器对温度变化极敏感如果近封装位置散热不够充分发射功率和波长稳定性都会漂移。超节点里几百个光引擎长时间高温运行对导热结构、光纤布线路径、光路诊断机制都提出了极高要求。昇腾960超节点能把NPO首发推出来说明至少在这些工程细节上已经有相当的技术储备否则光是“量产一段时间后激光器性能劣化”这一个问题就够运维团队喝一壶。6. 写在最后我对NPO超节点的一点体会看完了整个逻辑我最直接的感受是昇腾960超节点首发NPO不是在单个产品上做了一次参数堆叠而是在AI基础设施的底层方法论上开了一个新头。以前大家做大规模训练默认互联是既有的、需要适配的外部条件现在超节点把互联当成首要设计对象这相当于把“管道工程”提到了和“芯片工程”同样的优先级。我个人在压测大规模集群时最怕看到的其实不是稳定的大延迟而是时高时低的抖动因为抖动意味着通信步耗时不确定整个流水线的节奏都要被拖垮。NPO这种极短光路、极高带宽密度的方案如果能把延迟抖动压下来对分布式训练的用户体验提升是非常直观的。如果接下来你能接触到昇腾960超节点的实际测试数据建议第一优先看它的AllReduce扩展曲线别只盯着峰值PFLOPs看。扩展曲线才是互联健康度最诚实的体检报告。