DPU卸载纠删码与加密：解决AI对象存储的CPU瓶颈

一个千卡训练集群跑到半夜GPU 利用率掉了下来排查下来是存储节点的 CPU 满了它在给每一个对象算纠删码、做加密盘和网络反而有空闲。计算等数据数据卡在编码上这是 AI 数据中心里很典型的错位。网卡走到 100G、200G 之后线速折算过来是每秒十几 GB 的持续流量纠删码编码、压缩、加密这些计算密集步骤全压在通用 CPU 上CPU 会先于磁盘成为瓶颈把这部分重活从 CPU 挪出去是数据面优化的主要方向目前讨论最多的落点就是 DPU。GPU 等数据的时候CPU 在算什么全闪集群的顺序吞吐早就够用摩擦集中在三处。一处是小对象与元数据的并发。训练数据往往是海量 KB 到 MB 级文件4KB 小对象 PUT 的吞吐直接决定 checkpoint 落盘和样本加载的节奏。RustFS 官方仓库的压测章节给过一组数据4KB 小对象 PUT 吞吐约为 MinIO 的 2.3 倍工况是 2 核 Xeon 8475B、4GB 内存、15Gbps 网络、4 盘。这是软件层优化拿到的成绩但同一组数字也说明这些开销最终都记在 CPU 账上负载再往上涨先见顶的是 CPU。另一处是数据面的搬运开销。传统路径里对象从网卡进来拷贝进主机内存CPU 算完纠删码和加密再落到盘每一跳都有内存拷贝和上下文切换。线速越高CPU 花在搬运和编码上的占比越大留给业务的算力越少。第三处容易被漏掉盘坏了之后的重建与跨节点恢复。存活分片要重算回缺失的分片这既是重计算也是重网络一次 124 布局下的大批量重建就能把存储节点 CPU 拉起来白天看不出来的问题全在恢复窗口里发作。DPU 能接管哪一段DPU 是带独立算力的网卡专门替主机 CPU 干网络、存储、安全这几类搬运加计算的活。落到对象存储数据面它能接的是两段。第一段是传输。RDMA 让数据从对端内存直达本端绕过内核协议栈主机 CPU 几乎不碰报文延迟和抖动都跟着降。RDMA 本身并不依赖 DPU支持 RoCE 的普通网卡就能跑DPU 的意义在于把传输卸载和下文的计算卸载收进同一块卡不用再各配一套。第二段是计算。纠删码的编码和解码、压缩、加密这些步骤挪到 DPU 上执行主机 CPU 留给真正的业务和调度。边界同样要划清纠删码布局、一致性校验、持久化这些数据正确性逻辑仍然归存储进程管DPU 接的是加速不接语义。两条路径的分工见下图。存储和 DPU 之间怎么分工实现思路分两条。一条以 DPU 为主角对象流进来后切片、纠删码编码、解密加密都在 DPU 上完成落到盘的就是分片主机 CPU 只管元数据、对象归属这类判断。另一条以存储进程为主角存储进程维持原有流程把编码这类重活切给 DPU 的加速引擎算完再把分片交回主机落盘。差别在于主机 CPU 介入到哪一步也决定了引擎被替换时存储进程要不要跟着改。一次写请求在数据面上大致分三段请求进 DPU编码与加密在 DPU 侧完成分片落盘存储进程更新元数据与对象归属两者对账分片落盘结果。中间要不要多一次内存拷贝、拷贝发生在主机内存还是 DPU 侧官方目前没有公开细节。加密这边还有一层要分清密钥管理通常不在卸载范围内KMS 里的轮换与访问控制仍在主控侧DPU 做的是拿密钥执行解密这个动作。把这两件事在选型阶段问清楚比先看卡的性能指标更重要。这条路线走到哪一步了RustFS 在 2026 年 4 月 9 日官宣加入 NVIDIA Inception 计划官方公布的方向里RDMA 支持与把纠删码、压缩、加密 offload 到 DPU是 AI 原生存储数据面这条线上的规划。要分清的是这是路线图不是 1.0.0 里已经存在的开关。2026 年 9 月 16 日 GA 的 1.0.0 里稳定可用的是软件层那部分官方多节点多盘MNMD部署文档给出的默认布局是 124 纠删码每个对象被拆成 12 个数据分片加 4 个校验分片分散存进不同服务器的不同磁盘所以任意一个节点故障或至多 4 块盘损坏都不影响数据安全上一节示例里 4 节点、每节点 4 盘共 16 个端点正好对应这套布局。加密走 KMSmultipart、版本化、对象锁都在支持列表里。DPU 卸载是叠加在这一层之上的加速层什么时候进版本以 Releases 变更说明和官方文档里的新配置项为准。评估这条路线还要把现实成本算进去DPU 卸载落地时会绑定具体硬件不同厂商的卸载能力与驱动成熟度差异不小卡本身也是一笔新增采购。官方目前没有给出进版本的时间表选型时建议把这部分硬件投入和软件层收益放在一起权衡。什么负载值得上什么负载不必值得上的共同点是数据面持续吃 CPU 且带宽已经接近跑满。AI 训练的高并发样本加载、小文件密集的 checkpoint 落盘、跨机房或上云的大批量迁移都属于这一类它们的 CPU 常年在高位卸载掉编码和加密省下的算力能直接换成更多并发。收益小甚至没必要的也有。离线备份与归档是吞吐低、白天跑不完一半的负载DPU 卡的钱摊到全年利用率上算不划算集群还小、单节点带宽没到 25G 的阶段瓶颈在网络和盘卸载编码救不回来冷数据那种写一次读几次的对象路径上省下的编码开销也不够抵消卡的成本。自己算一笔账就能定看高峰时存储节点的 CPU 使用率是多少、编码和加密在其中占几成、网络带宽占用到几成。CPU 已经压到瓶颈而网络还有余量卸载才有意义网络和盘先顶到上限的要扩的是这两样不是加一张卡。现在就能落地的部分加速层没到底座可以先立起来。官方 MNMD 模式最少 4 个节点每个节点的配置文件完全一致密钥用openssl rand -base64 24生成强随机值RUSTFS_ACCESS_KEY自定义访问密钥RUSTFS_SECRET_KEYopenssl rand-base6424的输出RUSTFS_VOLUMEShttp://node{1...4}:9000/data/rustfs{0...3}RUSTFS_ADDRESS:9000RUSTFS_CONSOLE_ENABLEtrueRUSTFS_CONSOLE_ADDRESS:9001RUSTFS_VOLUMES用大括号展开把 4 个节点、每节点 4 块盘共 16 个端点枚举进同一个变量。这套三点式{1...4}展开由 RustFS 自己解析不是 shell 的花括号语法原样带引号写进配置文件即可。各节点拿着同一份配置启动即进入 124 纠删码的分布式模式。三件事现在就值得排期把这套 MNMD 集群跑起来按 124 布局把容量和容错规划做实有合规要求的接 KMS把密钥管理立起来盯 GitHub Releases 的变更说明RDMA 与 DPU 相关能力进入版本后先在测试集群实测一轮端到端吞吐再定生产升级的节奏。RustFS 1.0.0 已于 2026-09-16 正式 GAApache 2.0 协议仓库在 https://github.com/rustfs/rustfs 。现阶段能做的就是按官方文档把这套 MNMD 集群和加密链路配到位等 DPU 卸载进入版本在同一套底座上实测。