TENET：面向AI芯片架构师的张量数据流行为级建模框架

简介TENET是一个面向体系结构研究者与硬件加速器开发者的张量应用硬件数据流建模分析框架聚焦于空间架构下张量计算的数据流设计、互连建模与性能评估。它采用关系中心表示法统一建模数据流调度、片上互连拓扑如1D/2D systolic、mesh及张量操作的迭代域与访问函数支持PE利用率、数据重用率、延迟与能耗等关键指标量化分析适用于AI编译器后端、DSA架构探索与学术原型验证场景。资源包共205个文件含8个核心C源码如dataflow.cpp、pe_array.cpp、test_stt.cpp、45个S语义描述文件、55个M建模脚本及多个实验配置目录experiment_1至experiment_15辅以makefile构建脚本、interconnect定义文件及SqueezeNet/Jacobi/MatMul等典型算例整体仅294KB轻量但结构完整。已有460人学习下载读者可直接复现论文级硬件数据流建模流程获取从张量操作抽象→空间映射→互连仿真→指标分析的全链路代码与实验模板。1. TENET 不是张量计算库而是给硬件架构师用的“数字沙盒”它把张量程序翻译成可执行的硬件行为模型让芯片设计者在流片前就看清数据怎么在片上搬运、哪里会堵、功耗从哪来TENET 是一个面向张量应用程序如 CNN、Transformer 的 kernel 层的硬件数据流建模与分析框架——注意它不编译代码、不生成 RTL、不跑仿真器而是构建一个轻量级、可配置、可插拔的行为级硬件模型输入是高层张量计算描述如 Halide 或 TVM 的 schedule输出是精确到 cycle 级的数据搬运路径、buffer 占用曲线、带宽压测报告和能耗估算。它的核心价值不是加速训练或推理而是解决芯片架构早期验证中最痛的盲区当一个 ResNet-50 的 conv3x3 kernel 被映射到某款定制 AI 加速器时片上 SRAM 是否被反复刷写DMA 请求是否在某个 cycle 集中爆发导致 NoC 拥塞权重复用率是否远低于理论值这些问题传统 RTL 仿真要等 tape-out 前 6 个月才能暴露而 TENET 可以在 schedule 写完当天就给出量化答案。它适合两类人一是做存算一体/DSA 架构的硬件工程师需要快速评估不同数据流如 systolic vs. spatial vs. temporal对特定 workload 的实际收益二是编译器后端开发者想验证自己生成的 schedule 是否真能被硬件高效执行而不是只在抽象图上“看起来很美”。如果你还在靠手算 buffer 大小、靠经验预估带宽瓶颈或者每次改完 schedule 都得等 FPGA 综合跑完才敢下结论——TENET 就是你该立刻搭起来的“后悔药”。2. 用 TENET 在本地跑通一个卷积 kernel 的最小建模流程从 Halide schedule 到 cycle 级数据流热力图TENET 的建模不是黑匣子它依赖三类输入协同工作计算描述Computation、硬件拓扑Hardware Architecture和映射策略Mapping。这三者缺一不可且顺序严格先定义张量怎么算Halide/TVM IR再声明硬件长什么样PE 数、buffer 层级、互联带宽最后指定“谁在什么时候搬什么数据到哪”schedule-to-hardware mapping。下面以最简 case——单个conv2d(32,32,3,3)输入 32×32×3卷积核 3×3×3×16为例走通最小闭环。2.1 准备 Halide 描述与 schedule用 4 行代码定义计算分块逻辑TENET 原生支持 Halide IR 作为前端输入因此第一步是写出可被 TENET 解析的 Halide 函数。注意不能直接喂 PyTorch 模型或 ONNX必须降维到 kernel 级别并显式写出 loop nest 结构。以下是最小可行 Halide 描述保存为conv2d.h// conv2d.h #include Halide.h using namespace Halide; Func conv2d(Func input, Func weights) { Var x(x), y(y), c(c), k(k); Func output; output(x, y, k) castfloat(0.0f); RDom r(0, 3, 0, 3, 0, 3); // 3x3 kernel, channel dim output(x, y, k) input(x r.x, y r.y, r.z) * weights(r.x, r.y, r.z, k); return output; } int main() { ImageParam input(Float(32), 3, input); ImageParam weights(Float(32), 4, weights); Func f conv2d(input, weights); f.bound(x, 0, 32).bound(y, 0, 32).bound(c, 0, 3).bound(k, 0, 16); f.tile(x, y, xo, yo, xi, yi, 8, 8).vectorize(xi, 4); f.compile_to_lowered_stmt(conv2d.stmt, {input, weights}); return 0; }提示compile_to_lowered_stmt生成的是 Halide 的内部 IR 表达.stmt文件不是可执行二进制。TENET 解析的就是这个文本 IR而非 C 源码。务必确保Halide编译器版本 ≥ 13.0TENET v0.4 要求否则 stmt 格式不兼容。2.2 定义硬件架构 JSON用 7 个字段说清你的加速器“骨架”TENET 的硬件模型由 JSON 描述核心是compute_units、memory_hierarchy和interconnect三大部分。以下是一个典型边缘 AI 加速器的简化架构定义arch_edge.json{ name: edge-acc, compute_units: { type: systolic, count: 16, cycle_time: 1, ops_per_cycle: 1 }, memory_hierarchy: [ { name: global_mem, size_bytes: 268435456, read_bandwidth_gbps: 12.8, write_bandwidth_gbps: 12.8, latency_cycles: 200 }, { name: onchip_sram, size_bytes: 1048576, read_bandwidth_gbps: 512, write_bandwidth_gbps: 512, latency_cycles: 2 } ], interconnect: { type: mesh, rows: 4, cols: 4, link_bandwidth_gbps: 64 } }关键参数说明compute_units.type: 必须是systolic、spatial或temporal之一TENET 会据此选择对应的数据流引擎memory_hierarchy: 至少含两级 memoryglobal_mem模拟 DRAMonchip_sram模拟片上 buffersize_bytes直接影响 buffer overflow 报警interconnect.link_bandwidth_gbps: 若为 mesh需指定 link 带宽TENET 会自动计算跨 tile 数据搬运开销。2.3 编写 Mapping 文件把 Halide 的 tile 映射到硬件资源上Mapping 是 TENET 最具工程价值的部分——它把抽象 schedule 转为硬件可执行的指令序列。TENET 使用 YAML 格式核心是loop_to_level和data_move两节# mapping_conv2d.yaml loop_to_level: - loop: xo level: onchip_sram - loop: yo level: onchip_sram - loop: k level: compute_units - loop: xi level: compute_units - loop: yi level: compute_units data_move: - from: global_mem to: onchip_sram data: input pattern: x,y,c - from: global_mem to: onchip_sram data: weights pattern: r.x,r.y,r.z,k - from: onchip_sram to: compute_units data: input pattern: x,y,c - from: onchip_sram to: compute_units data: weights pattern: r.x,r.y,r.z,k逻辑说明loop_to_level告诉 TENETxo和yo这两个外层 tile loop 对应 on-chip SRAM 级别即每次 tile 计算前整块 input tile 和 weight tile 需预加载到 SRAMdata_move.pattern中的变量名必须与 Halide IR 中的 Var 名完全一致大小写敏感TENET 会据此推导每个 cycle 的数据搬运量注意pattern: r.x,r.y,r.z,k表示 weights 按 kernel 空间维度展开搬运这是实现 weight stationary 数据流的关键。2.4 执行 TENET 分析一条命令生成 4 类报告准备好上述三文件后运行 TENET 主程序假设已pip install tenettenet-analyze \ --computation conv2d.stmt \ --architecture arch_edge.json \ --mapping mapping_conv2d.yaml \ --output-dir ./report_conv2d \ --cycles 10000参数说明--cycles: 设定最大仿真 cycle 数TENET 会在此范围内完成整个 kernel 执行若超限则报错提示 schedule 未收敛--output-dir: 输出目录包含timeline.csvcycle 级事件日志、buffer_usage.pngSRAM 占用曲线、bandwidth_heatmap.pngNoC 各 link 带宽占用热力图、energy_breakdown.txt各模块能耗占比。执行后你会看到类似这样的关键输出[INFO] Simulated 9842 cycles for conv2d kernel [INFO] Peak onchip_sram usage: 924.3 KB / 1024 KB (90.3%) [WARN] Link (2,1)-(2,2) bandwidth utilization: 98.7% 95% threshold [INFO] Total estimated energy: 12.4 mJ (compute: 42%, DRAM access: 38%, NoC: 20%)这就是 TENET 的价值起点它不告诉你“能不能跑”而是告诉你“为什么这么跑、哪里快、哪里慢、哪里快撑不住”。3. TENET 的 3 个必调参数reuse_distance、buffer_size和interconnect_granularity如何决定建模精度TENET 的建模精度并非固定而是由三个底层参数动态控制。它们不写在用户 YAML/JSON 中而是通过命令行或 Python API 显式设置。调不对轻则报告失真重则完全无法反映真实硬件瓶颈。3.1reuse_distance: 控制数据复用建模粒度决定 cache miss 估算是否可信reuse_distance是 TENET 内部用于判断“同一数据是否被重复访问”的时间窗口单位cycle。默认值为1000但对不同硬件差异极大场景推荐值原因高频访存的小 kernel如 3x3 conv200–500SRAM 访问延迟仅 2 cycle过大的 reuse_distance 会让 TENET 错判“数据已失效”误增 DRAM 搬运次数大 batch transformer attention5000–10000key/value tensor 跨 head 复用距离长需拉长窗口捕获跨 tile 复用存算一体架构weight 固定在 analog array0禁用weight 不搬移设为 0 强制关闭 weight reuse 分析调整方式命令行tenet-analyze ... --reuse-distance 300注意reuse_distance不是 cache line size也不是 TLB 页大小。它是 TENET 自己维护的“最近访问时间戳”滑动窗口——只有在这个窗口内被再次请求的数据才被计为“hit”。若设得过大TENET 会高估 buffer 命中率设得过小则低估复用报告里 DRAM 搬运量虚高。3.2buffer_size: 覆盖硬件 buffer 实际容量避免“虚假溢出”误报TENET 默认按 JSON 中size_bytes值分配 buffer但实际硬件中 buffer 往往有管理开销metadata、alignment padding、bank conflict 留白。例如你声明onchip_sram.size_bytes 10485761MB但物理 bank 划分导致有效容量仅 983040 字节960KB。若 TENET 仍按 1MB 计算就会漏掉 bank conflict 导致的额外 stall。解决方案用--buffer-size覆盖 JSON 值tenet-analyze ... --buffer-size onchip_sram983040此时 TENET 会用 983040 字节做 buffer overflow 检查但 bandwidth 计算仍按 JSON 中read_bandwidth_gbps512 GB/s进行因为带宽是物理链路能力与可用容量无关。血泪经验某次调试发现 TENET 报“SRAM overflow”但实测 FPGA 上没溢出。最后发现是 bank conflict 导致 6.25% 容量不可用手动减去后报告与实测误差 3%。3.3interconnect_granularity: 决定 NoC 建模是“粗粒度 link”还是“细粒度 router port”TENET 对 mesh interconnect 的建模有两种模式granularitylink默认把每条 wire 当作独立带宽单元适合评估全局拥塞granularityport把每个 router 的 input/output port 当作带宽单元能捕获局部 hot spot如某个 router 的 east port 持续满载。启用 port 级建模tenet-analyze ... --interconnect-granularity port效果对比同一 workload指标link模式port模式差异原因最大 link 利用率98.7%92.1%link 模式把所有经过 (2,1)-(2,2) 的包都算入port 模式发现其中 30% 实际从 (2,1) 的 north port 进、east port 出分散了压力报告 hotspot 数量1 个 link3 个 portport 模式暴露了 router 内部微架构瓶颈提示port模式计算开销比link高约 3.2×但对 DSA 架构迭代至关重要——它能告诉你“是不是该加个 bypass path”或“router 的 port width 是否足够”。4. TENET 建模避坑5 条真实踩过的坑现象、原因、解法全写清楚TENET 文档精简社区案例少很多坑得靠实操撞出来。以下是我在 3 次 tape-out 前验证中踩过的 5 个高频问题每条都附带可复现的 minimal case 和 fix 方案。4.1 现象tenet-analyze报错KeyError: r.z in data_move.pattern但 Halide IR 明确有r.z原因TENET 解析 Halide.stmt时会对 reduction domain 的变量做 name mangling。原始 IR 中RDom r(0,3,0,3,0,3)的r.z在 lowered stmt 中可能变成r.s0或r.s2取决于 Halide 版本和优化开关。YAML 中写的r.z与实际 IR 变量名不匹配。解决先用halide --dump-stmt conv2d.stmt查看真实变量名在conv2d.stmt中搜索r.找到类似r.s0,r.s1,r.s2的出现修改mapping_conv2d.yaml中pattern: r.x,r.y,r.z,k→pattern: r.s0,r.s1,r.s2,k验证tenet-analyze --dry-run可提前检查变量名解析是否成功。注意--dry-run不执行仿真只做语法和变量绑定检查是上线前必跑步骤。4.2 现象buffer_usage.png显示 SRAM 占用始终为 0但timeline.csv里有大量LOAD事件原因data_move中from/to的 memory name 与architecture.json中memory_hierarchy.name不一致。例如 JSON 里写name: onchip_sram但 YAML 里写to: OnChip_SRAM大小写/下划线不匹配。解决用jq .memory_hierarchy[].name arch_edge.json提取所有合法 memory name逐字比对 YAML 中所有from:和to:值TENET 匹配是 strict string equality不支持 alias 或 regex。4.3 现象bandwidth_heatmap.png中所有 link 利用率都是 0%但energy_breakdown.txt显示 NoC 能耗占 20%原因interconnect在architecture.json中缺失或type字段拼错如写成mesh 多了个空格。TENET 会静默 fallback 到nullinterconnect此时 NoC 能耗按固定系数估算但 bandwidth 不建模。解决运行tenet-analyze --validate-arch arch_edge.json它会校验 JSON schema 并报出 missing/invalid fields确保interconnect是顶层字段且type值为mesh、ring或crossbar全小写无空格。4.4 现象timeline.csv中computeevent 的 cycle 数远小于data_move但实测硬件 compute 占用率超 80%原因compute_units.ops_per_cycle设置过高。TENET 默认认为每个 cycle 都能打满 ops但实际硬件受 data dependency、control hazard 限制有效吞吐常为理论值的 60–80%。解决查阅硬件 microarch spec获取实际 sustained throughput如 “peak 128 GOPS, sustained 72 GOPS”计算ops_per_cycle sustained_gops / (frequency_ghz * 1000)例如 1 GHz 频率、72 GOPS sustained →ops_per_cycle 72在architecture.json中更新ops_per_cycle: 72。4.5 现象energy_breakdown.txt中 DRAM 能耗为 0但timeline.csv有大量DRAM_READevent原因global_mem的read_bandwidth_gbps设为 0 或负数。TENET 能耗模型中DRAM energy bytes_transferred × energy_per_byte而energy_per_byte由 bandwidth 反推——若 bandwidth0则 energy_per_byte0。解决检查architecture.json中global_mem.read_bandwidth_gbps是否 0若不确定具体值可用 JEDEC 标准估算LPDDR4 3200 Mbps →read_bandwidth_gbps 3.2更稳妥做法设为12.8常见 mobile DDR 带宽后续用实测数据 calibration。5. 用 TENET 做 schedule 优劣量化对比一张表、三步操作、五分钟得出结论TENET 最硬核的价值不是单次建模而是多 schedule 并行对比。比如你写了 3 种 conv2d 的 tile 方案A: 8x8, B: 16x4, C: 4x16如何快速判断哪个更适合你的硬件靠肉眼看bandwidth_heatmap.png不用 TENET 的--compare模式5 分钟出结构化结论。5.1 步骤 1为每个 schedule 生成独立 mapping YAML保持conv2d.stmt和arch_edge.json不变只改 mappingmapping_A.yaml:tile(x,y,xo,yo,xi,yi,8,8)mapping_B.yaml:tile(x,y,xo,yo,xi,yi,16,4)mapping_C.yaml:tile(x,y,xo,yo,xi,yi,4,16)注意每个 mapping 的loop_to_level必须与 tile 结构匹配。例如mapping_B中xo覆盖 16 个 xyo覆盖 4 个 y那么xo应映射到更大 buffer如 global_mem而yo映射到 onchip_sram——否则 TENET 会报 buffer overflow。5.2 步骤 2批量运行并生成对比 CSVtenet-analyze \ --computation conv2d.stmt \ --architecture arch_edge.json \ --mapping mapping_A.yaml \ --output-dir ./report_A \ --quiet \ tenet-analyze \ --computation conv2d.stmt \ --architecture arch_edge.json \ --mapping mapping_B.yaml \ --output-dir ./report_B \ --quiet \ tenet-analyze \ --computation conv2d.stmt \ --architecture arch_edge.json \ --mapping mapping_C.yaml \ --output-dir ./report_C \ --quiet \ tenet-compare \ --reports ./report_A ./report_B ./report_C \ --metrics cycles peak_buffer_usage dram_read_bytes noc_max_utilization \ --output compare_result.csv--quiet关闭冗余日志tenet-compare是 TENET 自带的对比工具--metrics指定你要横向比的指标。5.3 步骤 3解读对比表——抓住 3 个关键决策信号compare_result.csv生成后用 pandas 或 Excel 打开重点关注以下三列组合Schedulecyclespeak_buffer_usage (KB)dram_read_bytes (MB)noc_max_utilization (%)A9842924.312.798.7B10215768.18.372.4C9963842.610.285.1决策信号解读Signal 1看noc_max_utilization是否超 95%A 方案 98.7% 95%说明 NoC 已临界拥塞即使 cycle 最短也不推荐——实测会因 backpressure 导致 cycle 数暴涨。B 方案 72.4% 安全是稳健选择。Signal 2看dram_read_bytes与peak_buffer_usage的比值理想情况是 dram_read_bytes / peak_buffer_usage ≈ 1数据一次加载多次复用。A: 12.7/924.3≈0.013说明 buffer 复用率极低B: 8.3/768.1≈0.0109略好但仍有优化空间这提示你该尝试k维度 tiling 或 weight prefetch。Signal 3看cycles的绝对值与相对差A 比 B 快 3.6%但 NoC 风险高C 比 A 慢 1.2%但 NoC 压力可控。若芯片目标是低功耗非极致性能选 C 更合适——TENET 让你把“性能-可靠性-功耗”的 trade-off 量化成数字而不是拍脑袋。我的习惯每次写完新 schedule必跑tenet-compare与 baseline 对比把noc_max_utilization和dram_read_bytes两列设为 conditional formatting红黄绿一眼锁定风险项。这比看波形图快 10 倍也比等 FPGA 综合结果早 3 周。希望帮到你。本文还有配套的精品资源点击获取