PVRDMA 原理与配置指南：在 vSphere 虚拟机中实现接近原生的 RDMA 性能

简介这份VMware官方发布的技术白皮书聚焦半虚拟化远程直接内存访问在高性能计算中的落地实践适合承担集群运维、虚拟化平台架构设计或高速网络调优的工程师参考。资源为单个PDF文档压缩后约一点零八兆内容依次覆盖管理中心服务器补丁准备、物理主机启用单根输入输出虚拟化并配置虚拟功能、虚拟机选择支持远程直接内存访问的网卡型号、客户操作系统安装相应驱动库等步骤并专门整理了一组故障排查方法。已有九十七人学习下载。文档以开源计算流体力学软件作为基准测试工具构建测试床并对比启用该技术前后的计算耗时、传输带宽和资源利用率用实测数据说明其既能保留虚拟化环境中的高可用、动态迁移等管理特性又能逼近物理网卡直通的低延迟高吞吐表现。读者可从同一份材料中获得环境准备、参数选择、性能验证到问题定位的完整路径对在虚拟化环境中运行科学计算与工程仿真负载的团队尤其有价值。1. VMware Paravirtual RDMA for High Performance Computing这份文档到底解决什么问题拿到「VMware Paravirtual RDMA for High Performance Computing.pdf」这个名字先别急着当成普通的虚拟化性能调优手册。它讲的是 VMware 为虚拟机里跑 RDMARemote Direct Memory Access工作负载而设计的半虚拟化方案——Paravirtual RDMA简称 PVRDMA。简单说在传统虚拟化环境里RDMA 网卡直通要么独占设备、要么性能损耗大而 PVRDMA 让多个虚拟机共享一张物理 RDMA 网卡还能保持接近原生的通信延迟和带宽。适合三类人在 ESXi 里跑 HPC 集群的运维、做分布式存储或数据库Oracle RAC、SAP HANA的架构师以及需要在虚机间做 MPI 并行计算的研究人员。这份 PDF 的价值不在概念而在它给出了从 vSphere 版本要求、固件设置到 VM 配置参数、驱动安装的完整链路。2. RDMA 与 PVRDMA 的边界为什么虚拟化 HPC 卡在网卡这一层2.1 传统方案的两条老路PCIe 直通与软件模拟RDMA 的核心是跳过内核让网卡直接把数据搬到应用内存。在物理机上这很自然但放进虚拟机就麻烦。传统做法是 PCIe Passthrough直通把物理 RDMA 卡直接分配给某个 VM。好处是性能近乎裸机坏处是这张卡被独占无法在多个 VM 间共享——虚拟化的弹性和密度全丢了。物理机上可以十几台机器共享一张 HCA虚机上却只能一卡一 VM资源利用率很难看。另一条路是用软件模拟 RDMA 语义把数据路径交给 vSwitch 和 CPU 处理。VM 里的应用以为自己拿到了 RDMA 能力实际底层走的还是 TCP/IP 或 VMM 内存拷贝。这种方式能共享网卡但延迟和 CPU 开销都扛不住一个 4K 消息的往返延迟可能从 1~2 微秒飙到 10 微秒以上HPC 作业的扩展性会直接打折。所以 VMware 才在 vSphere 里推出 PVRDMA 设备走半虚拟化路线由虚拟设备负责把 RDMA 语义映射到物理网卡硬件而不是让软件去完整模拟。2.2 PVRDMA 的设计取向半虚拟化到底省在哪半虚拟化的思路是给 VM 提供一个虚拟 PV RDMA 设备然后由 ESXi 内核里的服务端把多个 VM 的请求汇聚到一块物理 RNIC 上。对 VM 里的驱动来说它操作的是一个标准化的虚拟队列对vQP对物理网卡来说它看到的是 ESXi 统一管理的多个连接。和纯模拟比省掉了协议栈逐层封装和直通比共享粒度和迁移能力完全不在一个量级。这份 PDF 里值得注意的一个细节是PVRDMA 支持在 vSphere vMotion 环境下工作。这意味着 VM 带着 RDMA 连接做在线迁移时通信会话能保持不中断——这在传统直通模式下几乎不可能因为直通卡和物理机绑定死了。文档里对应的章节应该是围绕 vMotion 与 RDMA 会话保持的兼容性说明以及哪些底层传输RoCE 或 InfiniBand分别在哪类网卡上受支持。这是选型时最先要看的如果底层是 InfiniBand注意 ESXi 版本与固件要求如果是 RoCE则需要确认物理交换机的 PFC/ECN 配置能透传到 ESXi 的 vmknic。提示不是所有物理网卡都支持 PVRDMA。能否使用取决于网卡型号、固件以及 vSphere 版本别只看 VM 配置里有没有这个设备选项。2.3 先理清硬件矩阵哪些网卡和 vSphere 版本能吃下 PVRDMA阅读这份 PDF 时建议先翻硬件兼容性段落。常见支持 PVRDMA 的物理网卡包含 Mellanox ConnectX-4/5/6 系列、部分 QLogic/Cavium 的 RoCE 网卡以及 VMware 自己列出的兼容列表。ESXi 版本上PVRDMA 从 vSphere 6.5 开始可用但成熟度差异很大6.5/6.7 时代主要是 RoCE v1到 7.0 之后 RoCE v2 和 Enhanced PVRDMA 才真正铺开。下面是按常见场景整理的选型对照具体以 PDF 内兼容矩阵为准这里给的是通用排查顺序场景推荐配置备注单 VM 独占高性能PCIe Passthrough性能最好但不可共享、不可 vMotion多 VM 共享 RoCE 网卡PVRDMA RoCE v2推荐新集群首选InfiniBand 环境PVRDMA取决于固件检查 IB 网关与 ESXi 驱动兼容性需要在线迁移PVRDMA vMotion确认会话保持机制与版本匹配把硬件矩阵放在第二节讲是因为后面所有配置命令的前提都建立在“你的网卡确实支持 PVRDMA”这个判断上。否则即使 VM 配置再正确设备也不会出现在客户机里。3. 落地配置从 vSphere 到客户机驱动的完整链路3.1 物理层准备BIOS、固件与 ESXi 网络设置第一步是物理机层面的。先确认服务器 BIOS 里打开了 SR-IOV 和 VT-dIOMMU这是 PVRDMA 工作的底层前提。ESXi 里执行esxcli命令确认相关功能是否可用# 查看 IOMMU 是否启用 esxcli system settings kernel set -s iommu -v TRUE # 查看物理网卡是否支持 SR-IOV esxcli network sriovnic list第一条命令打开内核 IOMMU 支持PVRDMA 需要 DMA 重映射才能让虚拟设备安全访问物理内存。第二条命令列出所有支持 SR-IOV 的物理网卡输出里会包含网卡名、PF物理功能和最大 VF 数量。如果列表为空或网卡不在列说明这张卡的固件或型号不支持后续配置可以直接放弃。接下来要配置 vSwitch 和上行链路。PVRDMA 本质上依赖一个 vmkernel 接口做物理网络承载。常见做法是在标准交换机上创建一个 vmknicVLAN ID 设置为 RDMA 流量所在的 VLAN然后让 PVRDMA 端口组使用这个 vmknic# 创建 vmknic示例 VLAN 100IP 段按 RDMA 网络规划 esxcli network ip interface add -i vmk2 -p VMkernel -v 100 # 分配 IP 地址 esxcli network ip interface ipv4 set -i vmk2 -I 192.168.100.2 -N 255.255.255.0 -t static注意这里 vmknic 的 IP 只是承载层标识RDMA 通信不会走传统 IP 栈但它必须存在且可达供 PVRDMA 注册设备时使用。3.2 VM 配置添加 PVRDMA 设备与参数核查在 vSphere Client 里编辑虚拟机的硬件配置添加设备时选择“网络”或直接找“RDMA”设备。添加后能看到三类关键配置设备类型PVRDMA、队列对数量Queue Pairs默认通常为 4 或 8、以及关联的端口组。高并发场景可以把 Queue Pairs 调大但要注意这会消耗宿主机内存和物理网卡的队列资源。关键的一步是确认 VM 配置参数。在 vmx 文件或 vSphere Client 的高级参数里有几个经常被忽略但直接决定 PVRDMA 是否生效的项# 在 VM 高级参数中确认或添加 pciPassthru.use64bitMMIO TRUE pciPassthru.64bitMMIOsize 1024 # 根据设备内存需求调整第一个参数确保虚拟 RDMA 设备能使用 64 位 MMIO 地址空间第二个参数为该设备预留内存大小。如果卡在设备无法识别或驱动报告资源不足通常就是这一组参数没配。新版 vSphere7.0会自动处理但 6.5/6.7 时代手动配置几乎是必须的。3.3 客户机驱动Windows 与 Linux 两种装法驱动这一步最容易出岔子。Windows 客户机需要在 VMware Tools 里安装“VMware PV RDMA”驱动这通常包含在最新版 VMware Tools 中但 Windows 服务器系统比如 Windows Server 2019/2022有时需要单独勾选该组件。装完后在设备管理器里能看到“VMware Paravirtual RDMA Adapter”然后到网络适配器属性里启用 RDMA 功能。Linux 客户机则要把内核模块加载起来。以常见的 CentOS/RHEL 和 Ubuntu 为例# 确认内核模块 modprobe pvrdma # 查看是否识别到设备 ls /sys/class/infiniband/ # 输出应该类似mlx4_0 或 pvrdma0 字样 # 查看设备端口状态 cat /sys/class/infiniband/pvrdma0/ports/1/state # 期望输出4: ACTIVE这里为什么要看/sys/class/infiniband因为 PVRDMA 在客户机里呈现的是一个 InfiniBand 风格的 RDMA 设备应用层通过 verbs API 访问。如果ls输出为空基本可以断定驱动没加载或 VM 配置不对。常见检查路径是dmesg | grep pvrdma看有没有报资源分配失败的记录。3.4 验证链路用工具确认 RDMA 真的通配置完成后别急着跑应用先用工具验证底层链路。Linux 下推荐用ibping或perftest包含ib_write_bw、ib_read_lat做点对点测试。如果客户机里没有这些工具安装 infiniband-diags 和 perftest 包即可# 在 VM A 上启动服务端 ib_write_bw -d pvrdma0 -s 8388608 # 在 VM B 上发起测试 ib_write_bw -d pvrdma0 -s 8388608 192.168.100.2-d指定设备名-s设置消息大小字节这类测试主要看带宽和延迟是否符合物理网络预期。如果测试卡住或报错优先检查 vmknic 的 IP 是否可达、VLAN 是否放行、两端设备的端口状态是否 ACTIVE。4. 避坑与常见问题排查现象、原因、解决4.1 客户机看不到 PVRDMA 设备现象VM 配置里添加了 PVRDMA 设备客户机系统也装了驱动但设备管理器或lspci里就是找不到。原因最常见的是 VM 版本太低或pciPassthru.use64bitMMIO未开启导致设备初始化失败其次是没有在虚拟机选项里设置“Expose hardware assisted virtualization”之类的前置开关具体以 vSphere 版本为准。解决把 VM 的硬件版本升级到与 vSphere 版本匹配的最高兼容版本然后在高级参数里补上 64 位 MMIO 配置重启 VM 再看。4.2 设备状态 ACTIVE 但通信超时现象ib_write_bw能启动但数据传输卡住或直接超时带宽远低于物理网络水平。原因这一步 80% 是物理网络问题不是虚拟化问题。RoCE 网络没有配置 PFC优先级流控或 ECN拥塞时丢包重传导致性能雪崩InfiniBand 环境则可能是子网管理器没把两个 VM 的端口算进同一个分区。解决先用ibping或ping测两端物理连通性再确认交换机上对应 VLAN 的 PFC 队列配置优先级建议设为与 RoCE 流量匹配的数值。虚拟化层基本不用动。4.3 vMotion 迁移后 RDMA 会话中断现象VM 在 vMotion 迁移完成后RDMA 应用连接全部断开需要重启作业才能恢复。原因PVRDMA 支持 vMotion 是有条件的必须使用相同的物理网卡型号、vSphere 版本一致、源和目标的固件兼容。如果迁移跨越不同硬件代际底层 RDMA 会话保持机制无法工作连接必然断。解决把集群做成同型号网卡的 DRS 规则迁移前用 vSphere 的兼容性检查功能预判必要时只允许在相同固件版本的主机间做 vMotion。4.4 队列对数量调整后 VM 无法启动现象为了提升性能把 Queue Pairs 从 4 调成 64结果 VM 开机直接报内存资源不足。原因每个队列对都会占用物理网卡的硬件队列资源和宿主机内存。调大后超出了网卡 VF 的队列上限或 ESXi 的 DMA 内存池。解决查一下物理网卡的规格表确认单个 VF 支持的最大队列数把数值调回推荐范围一般 4~16 足够单个 VM 使用再逐级往上试。4.5 Windows 客户机驱动装不上现象Windows 设备管理器里 PVRDMA 设备前面一直有黄色感叹号装驱动报“找不到设备”或“无法启动”。原因老版本 VMware Tools 的 PVRDMA 驱动对 Windows Server 2022 支持不全或者系统把设备识别成了标准以太网卡。解决到 VMware 官网下载最新版 VMware Tools安装时选择“自定义安装”手动勾选 RDMA 组件。如果已经装过旧版先到设备管理器卸载设备并删除驱动再重新安装。5. 进阶技巧把 PVRDMA 数据面与应用行为对齐PVRDMA 的环境搭建完成后真正的门槛在调优维度。因为 PVRDMA 只是一个虚拟设备它的性能上限取决于三个因素的乘积物理网卡的硬件能力、ESXi 的虚拟化开销、以及客户机应用的 verbs 使用方式。只调一个维度效果一定有限。我一般会先从队列对数量入手。物理机上单端口通常有 32 到 128 个队列对但虚拟机的 PVRDMA 设备默认只暴露 4 到 8 个。对典型的 MPI 应用来说每个进程对会至少占用一个队列对如果跑 16 个 MPI rank默认配置必然发生争抢。此时把 Queue Pairs 调到 16并配合客户机侧设置RDMAV_FORK_SAFE或增加 verbs 并发能看到明显的延迟改善。但调大后会占用更多宿主机资源建议用esxtop观察 RDMA 相关的计数器确认不是把宿主机内存逼到极限。另一个容易忽略的点是 MTU 与消息大小的匹配。PVRDMA 支持的最大传输单元MTU受物理网卡限制常见是 4096 或 2048。如果你的物理链路是 RoCE v2把 MTU 设成 4096 通常能提升大消息带宽但小消息延迟反而可能因为包体变大而增加。所以调优先跑一轮ib_write_lat扫不同消息大小4B、1K、64K、1M找到曲线拐点那才是你的应用真正该关注的区间。不要只看 1MB 消息的带宽数据就下结论——HPC 应用里大量的是 1~8KB 的消息这个区间的延迟表现才决定作业的整体扩展性。最后提一个我从文档和实操里总结出的习惯每台启用 PVRDMA 的 VM我都会在部署完成后强制走一遍“三查”流程——查设备状态ibstat或/sys/class/infiniband、查端口状态ACTIVE不是INIT、查端到端延迟ib_write_lat扫一圈。只有这三项全部符合预期才把 VM 交到业务手里。毕竟 RDMA 这种东西只要底层有一个参数没对齐上层跑三天都发现不了等作业大面积超时才回头排查就太被动了。这份 PDF 的价值也在于此把 VMware 官方对 PVRDMA 的版本约束、参数说明、兼容性边界一次讲清楚省掉自己翻文档和试错的成本。希望帮到你。本文还有配套的精品资源点击获取