从零设计AI加速器：矩阵乘法原理与Verilog实现

1. 为什么我要自己动手做一颗AI加速器2023年的时候我在一块嵌入式开发板上跑一个轻量级的目标检测模型帧率死活上不去CPU占用率直接拉满风扇转得像要起飞。当时第一反应是换块更强的CPU但算了一笔账换平台意味着重新做板级设计、重新适配驱动、重新调功耗成本高得离谱。后来我把目光转向了FPGA想用可编程逻辑搭一个专门跑矩阵乘法的硬件模块这才真正踏进了AI加速器设计的大门。所谓AI加速器说白了就是一颗专门为神经网络计算量身定制的芯片或逻辑模块。它的核心任务非常明确高效地完成大量的矩阵乘加运算。你可能会问CPU和GPU不也能算矩阵吗没错但它们都是通用处理器CPU要兼顾逻辑判断、分支跳转、缓存管理GPU虽然并行能力强但功耗和面积对于边缘设备来说往往不可接受。NPU神经网络处理单元这类专用加速器的思路完全不同——它把芯片面积和功耗预算几乎全部砸在矩阵运算单元上砍掉一切跟神经网络无关的冗余逻辑从而在同样的工艺节点下做到十倍甚至百倍的能效比提升。这篇文章适合谁看如果你是有一定数字电路基础、想了解AI芯片底层设计逻辑的工程师或者你是做嵌入式AI部署、想搞清楚加速器到底怎么工作的开发者再或者你只是对“CPU、GPU、NPU到底差在哪”这个问题好奇的技术爱好者接下来的内容都会对你有帮助。我会从最核心的矩阵运算原理讲起一步步拆解一个AI加速器从架构设计到RTL实现再到验证的完整链路中间会穿插我自己踩过的坑和实际项目中的取舍经验。需要提前说明的是我这里不会涉及任何具体公司的商业产品参数也不会讨论敏感的技术封锁话题。我们纯粹从工程技术的角度聊怎么从零开始把一颗AI加速器设计出来。2. 矩阵乘法为什么是AI计算的绝对核心2.1 从全连接到卷积所有神经网络层都在做同一件事很多人第一次接触神经网络的时候会被各种层名搞晕全连接层、卷积层、池化层、注意力层……但如果你把每一层的数学表达式写出来会发现一个惊人的事实超过90%的计算量都集中在矩阵乘法上。全连接层不用多说输入向量乘以权重矩阵本质就是矩阵向量乘。卷积层稍微绕一点但通过im2col图像转列操作可以把卷积变成一个大矩阵乘法。Transformer里的自注意力机制核心的Q、K、V计算和注意力分数计算同样是矩阵乘法。甚至Batch Normalization在推理阶段可以融合进前一个矩阵乘法的权重里变成一次仿射变换。这意味着什么意味着你只要把矩阵乘法加速做到极致就能覆盖绝大多数神经网络的计算需求。这就是AI加速器设计的第一个核心原则聚焦矩阵乘加运算其他都是配角。2.2 矩阵乘法的计算量和访存量分析假设我们要计算一个M×K的矩阵A和一个K×N的矩阵B相乘得到M×N的矩阵C。计算量是2×M×K×N次浮点运算乘加各算一次。访存量呢需要读取M×K K×N个数据写入M×N个数据。这里有一个关键指标叫计算访存比Arithmetic Intensity就是计算量除以访存量。对于大矩阵乘法这个比值可以很高意味着计算密集但对于小矩阵或者向量乘矩阵访存就成了瓶颈。我刚开始设计的时候犯过一个错误只盯着峰值算力拼命堆乘法器结果发现实际跑模型的时候利用率连30%都不到。原因就是数据供给跟不上乘法器大部分时间在等数据。这个教训让我明白了一个道理AI加速器的设计本质上是一个数据搬运和计算调度的平衡问题而不是单纯的算力堆砌。2.3 数据复用加速器设计的灵魂矩阵乘法有一个非常好的性质数据可以复用。比如计算C的一行时A的这一行数据可以被N个输出列复用计算C的一列时B的这一列数据可以被M个输出行复用。更进一步的如果我把矩阵分块让小块数据留在片上缓存里反复使用就能大幅减少对片外存储器的访问。这就是经典的分块矩阵乘法Tiling思想。分块大小怎么选取决于你的片上缓存容量、乘法器阵列规模、以及片外带宽。这三个参数互相制约需要反复权衡。我实际项目中的经验是先确定片外带宽和片上SRAM容量然后反推最大可用的分块尺寸再根据分块尺寸设计乘法器阵列的形状。这个顺序不能反否则很容易设计出一个“算力很强但喂不饱”的加速器。3. 从计算模式反推硬件架构3.1 三种主流架构路线的取舍设计AI加速器第一步是选架构路线。目前主流的有三种脉动阵列Systolic Array、乘加树Adder Tree、位串行架构Bit-Serial。脉动阵列是谷歌TPU带火的架构。它的核心思想是让数据像心跳一样在乘法器阵列中有节奏地流动每个周期数据向右或向下传递一格同时完成乘加运算。优点是数据复用率高、控制逻辑简单、能效比极好。缺点是灵活性差一旦阵列尺寸固定处理小矩阵时利用率会下降。乘加树架构则是把一列乘法器的结果通过加法树汇总适合处理卷积运算中的滑动窗口。它的灵活性比脉动阵列好但加法树的延迟和面积会随着并行度增加而快速增长。位串行架构比较小众它把定点数按位拆分逐位计算。优点是面积非常小适合极低功耗场景缺点是计算延迟大需要多个周期才能完成一次乘法。我最终选择了脉动阵列的变体因为我的目标场景是边缘端的卷积神经网络推理矩阵尺寸相对规整对能效比要求高对灵活性要求没那么苛刻。这个选择没有绝对的对错关键看你的应用场景。3.2 乘法器阵列的尺寸怎么定假设我设计一个16×16的脉动阵列每个周期可以完成16×16256次乘加运算。如果跑在200MHz时钟下峰值算力就是256×2×200M 102.4 GFLOPS乘加各算一次。这个数字看起来不错但实际利用率能到多少我实测下来跑ResNet-50这种规整的卷积网络利用率能到70%左右但跑一些通道数不是16倍数的网络利用率会掉到40%以下。所以阵列尺寸不是越大越好要跟你的目标模型通道数匹配。常见的选择是8×8、16×16、32×32分别对应不同的算力档位。还有一个容易被忽略的点阵列的形状。16×16是正方形但你可以做16×8或者32×4。正方形阵列的数据复用路径最短但长方形阵列在某些特定矩阵形状下利用率更高。我建议新手先从正方形入手把整个数据流跑通之后再考虑优化形状。3.3 片上缓存的分层设计AI加速器的片上缓存通常分三级寄存器文件Register File、输入缓存Input Buffer、权重缓存Weight Buffer。寄存器文件离乘法器最近延迟最低但容量最小输入缓存和权重缓存容量大一些负责从片外存储器接收数据并分发给计算阵列。我的设计中权重缓存用了双缓冲Double Buffering策略当计算阵列在消费当前权重块的时候DMA引擎同时在往另一个权重缓存块里搬下一块数据。这样计算和搬运可以重叠避免阵列空转。这个技巧在几乎所有高性能加速器里都能看到是提升利用率的标配手段。输入缓存的设计更复杂一些因为输入数据往往需要按照特定的顺序排列才能喂给脉动阵列。我一开始没做好数据重排逻辑导致输入缓存的读写冲突严重阵列经常停顿。后来加了一个小的重排缓冲区Reorder Buffer先把数据整理好再送入阵列问题才解决。4. 用Verilog把矩阵乘法单元搭出来4.1 处理单元PE的内部结构脉动阵列的基本单元叫PEProcessing Element。每个PE内部有一个乘法器、一个累加器、以及若干寄存器。数据从左边和上边流入从右边和下边流出。一个典型的PE行为是这样的每个时钟周期PE从左边接收一个输入数据从上边接收一个权重数据两者相乘后累加到本地累加器中。同时输入数据向右传递权重数据向下传递。这样经过若干个周期后每个PE的累加器里就得到了对应输出元素的部分和。用Verilog实现的时候关键是要处理好流水线。乘法器本身有延迟如果直接组合逻辑乘加时序很难收敛。我的做法是在乘法器后面插一级寄存器把乘法和累加分到两个周期完成。这样虽然增加了一个周期的延迟但时钟频率可以跑得更高总体吞吐反而更好。module pe ( input wire clk, input wire rst_n, input wire [15:0] in_data, input wire [15:0] in_weight, input wire in_valid, output reg [15:0] out_data, output reg [15:0] out_weight, output reg [31:0] acc, output reg out_valid ); reg [31:0] mult_result; reg mult_valid; always (posedge clk or negedge rst_n) begin if (!rst_n) begin mult_result 32d0; mult_valid 1b0; end else begin mult_result in_data * in_weight; mult_valid in_valid; end end always (posedge clk or negedge rst_n) begin if (!rst_n) begin acc 32d0; out_data 16d0; out_weight 16d0; out_valid 1b0; end else begin if (mult_valid) acc acc mult_result; out_data in_data; out_weight in_weight; out_valid in_valid; end end endmodule这段代码看起来简单但实际综合的时候有几个坑。第一乘法器的位宽要仔细选16位×16位得32位结果但如果你的数据是8位定点那乘法器可以小很多。第二累加器的位宽要留够余量否则多次累加后会溢出。我一般会留至少8位的余量。4.2 阵列的数据流控制单个PE好写但把256个PE连成阵列数据流控制就成了大问题。你需要生成精确的时序信号控制每一行每一列的数据注入时机。我的做法是用一个状态机来管理整个阵列的运算过程。状态机分为四个阶段加载权重、注入输入、计算流水、读出结果。每个阶段的周期数取决于阵列尺寸和矩阵大小。这里有一个容易犯的错误输入数据的注入顺序。在脉动阵列中为了得到正确的输出输入数据需要按照对角线方向斜着注入。也就是说第0行第0列的数据先进入第0行第1列和第1行第0列的数据晚一个周期进入以此类推。这个斜注入的逻辑如果写错了输出结果会完全乱掉。我当初调试这个斜注入逻辑花了整整三天最后用了一个简单的技巧在Testbench里用一个小的4×4矩阵手动算一遍期望结果然后逐个周期打印阵列内部的状态对比波形找问题。这个方法虽然笨但非常有效。4.3 定点数格式的选择与量化误差AI加速器通常用定点数而不是浮点数因为定点乘法器面积小、功耗低、延迟短。但定点数有个致命问题动态范围有限。我选的是INT8输入、INT32累加的方案。INT8能表示-128到127对于大多数经过量化训练的模型来说够用了。但如果你直接拿一个浮点模型来量化精度损失可能会很大。我的经验是量化感知训练QAT是必须的在训练阶段就模拟定点运算让模型权重和激活值适应INT8的表示范围。累加器用INT32是因为矩阵乘法的部分和可能会很大。假设K1024每个乘积最大是127×127≈16000累加1024次就是1600万接近INT32的极限。所以如果你的K更大可能需要INT48甚至INT64的累加器。这个计算在设计初期就要做好否则后期发现溢出就麻烦了。5. 仿真验证从Testbench到FPGA原型5.1 Testbench怎么写才能覆盖边界情况写Testbench不是随便造几个随机数就完事了。我总结了几类必须覆盖的测试用例第一类是规整矩阵尺寸正好是阵列尺寸的整数倍用来验证峰值性能路径。第二类是非规整矩阵尺寸不是整数倍用来验证边界处理逻辑。第三类是特殊值矩阵包含全零、全一、最大值、最小值用来验证溢出和饱和处理。第四类是随机矩阵用随机数生成器产生用来做大规模回归测试。我的Testbench里有一个自动比对模块用C语言写了一个参考矩阵乘法通过DPI-C接口在仿真中调用。每次仿真结束自动比对硬件输出和软件参考结果不一致就报错并打印出错位置。这个自动化比对省了我大量手动检查的时间。5.2 波形调试的实战技巧仿真跑不通的时候看波形是主要手段。但256个PE的阵列波形密密麻麻怎么看我的技巧是分层调试。先看顶层接口的输入输出确认数据注入和结果读出的时序对不对。然后看阵列边界的PE确认数据流入流出正常。最后看阵列内部的PE确认乘加运算正确。每次只看一层不要试图一次性看懂所有信号。还有一个技巧是加标记信号。在Verilog里加一些调试用的计数器或者状态标记比如“当前处于第几个计算周期”“当前处理的是第几个输出块”在波形里一眼就能看出进度。这些信号综合的时候会被优化掉不影响最终电路。5.3 从仿真到FPGA原型的跨越仿真通过只是第一步上FPGA才是真正的考验。我遇到的最大问题是时序收敛。仿真的时候没有时序约束逻辑随便写都能跑但FPGA综合的时候如果关键路径太长时钟频率就上不去。我的解决方案是流水线化。把长的组合逻辑路径切开中间插寄存器。比如乘法器后面插一级、加法树每两级插一级、累加器前面插一级。这样虽然增加了延迟但时钟频率可以从50MHz提升到200MHz总体吞吐反而提高了。另一个坑是Block RAM的推断。我的输入缓存和权重缓存本来想用分布式RAM实现但综合工具推断成了Block RAM导致读写冲突。后来我显式例化了Block RAM原语配置成简单双端口模式问题才解决。6. 踩过的坑与性能优化心得6.1 数据位宽不匹配导致的静默错误有一次我跑一个完整的卷积层仿真结果跟软件参考对比误差在可接受范围内我就以为没问题了。结果上板实测的时候发现某些输入下输出完全错误。排查了很久才发现是输入数据的位宽不匹配。我的输入缓存是16位宽但DMA从片外搬进来的是8位数据拼接逻辑写错了导致高8位一直是随机值。仿真的时候因为随机值恰好不大误差被掩盖了上板之后随机值变大就暴露了。这个教训告诉我仿真通过不代表没问题边界条件和极端输入一定要测。后来我在Testbench里加了强制注入最大值和最小值的测试用例这类问题就再也没出现过。6.2 权重缓存的Bank冲突问题权重缓存我用了多Bank结构来提高带宽每个Bank独立读写。但实际跑的时候发现当权重矩阵的列数不是Bank数的整数倍时会出现Bank冲突多个PE同时访问同一个Bank导致停顿。解决方案有两种一是把权重矩阵Padding到Bank数的整数倍浪费一点存储空间但逻辑简单二是设计一个Bank冲突检测和调度逻辑动态调整访问顺序。我选了第一种因为对于边缘端应用来说存储空间没那么紧张简单可靠更重要。6.3 时钟门控与功耗优化FPGA原型跑通之后我开始关注功耗。实测发现即使在不计算的时候阵列的时钟还在翻转动态功耗白白浪费。我加了时钟门控逻辑当状态机处于空闲状态时关掉计算阵列的时钟。这个改动让空闲功耗降低了60%以上。但要注意时钟门控会引入毛刺风险需要用专门的时钟门控单元不能直接用与门。另一个功耗优化点是操作数隔离。当乘法器的输入不变时乘法器内部的翻转也会消耗功耗。我在乘法器输入端加了隔离逻辑输入不变时保持前一个值减少不必要的翻转。这个技巧在低功耗设计中非常常见。6.4 实际跑模型的性能数据最后分享一下我实际跑ResNet-50推理的性能数据。在Xilinx Zynq UltraScale MPSoC上200MHz时钟16×16脉动阵列INT8量化单张图片推理延迟约12ms功耗约3W。对比同平台的CPU实现延迟降低了约8倍能效比提升了约15倍。这个数据不算惊艳但考虑到这是一个从零开始设计的原型我已经比较满意了。后续的优化方向包括增大阵列尺寸到32×32、加入Winograd卷积算法减少乘法次数、优化数据复用策略进一步降低片外带宽需求。7. 给想入门AI加速器设计的朋友几点建议如果你看完上面的内容也想自己动手做一颗AI加速器我有几个实在的建议。第一先从小的做起。不要一上来就搞32×32阵列先做一个4×4的把数据流、控制逻辑、验证流程全部跑通。小阵列虽然算力低但设计复杂度低很多适合理解原理。我当初就是从4×4开始的跑通之后扩展到16×16只花了不到一周。第二软件参考模型一定要先写好。在写Verilog之前用Python或者C写一个行为级的矩阵乘法参考模型把量化、分块、累加的逻辑全部模拟一遍。这样你在调试硬件的时候有一个可信的比对基准。没有参考模型的硬件调试就像没有地图的迷宫全靠运气。第三重视验证。硬件设计里验证的工作量往往比设计本身还大。我大概花了60%的时间在写Testbench和调试波形上。不要觉得验证是浪费时间一个没验证充分的加速器上板之后的问题会让你十倍地还回来。第四关注数据搬运不要只盯着计算。我见过太多人把乘法器阵列设计得很漂亮结果数据供给跟不上实际性能只有峰值的20%。记住AI加速器的瓶颈往往不在算而在搬。第五多看开源项目。GitHub上有不少开源的AI加速器项目比如NVDLA、VTA、Gemmini等。不要直接抄但可以看他们的架构设计、数据流控制、验证方法。站在别人的肩膀上能少走很多弯路。最后说一个我自己的体会设计AI加速器最有趣的地方在于你需要在算力、功耗、面积、灵活性这四个维度之间反复权衡。没有完美的方案只有适合你应用场景的方案。每一次取舍背后都是对应用需求的深刻理解。这个过程很折磨人但当你看到自己设计的加速器跑通第一个模型的时候那种成就感是无可替代的。