脱敏说明文中主机名已替换为节点1~节点4本机管理网 IP 已替换为管理网IP。私网网段192.168.100.0/24/192.168.101.0/24为集群内部规划地址交换机管理网段192.168.88.0/24为设备出厂默认值不具备可识别性予以保留。目录一、当前拓扑二、初始发现三、NCCL 性能现象四、服务器侧验证五、交换机 MTU 尝试六、已完成的修复七、参考博客对照八、当前结论九、下一步方向一、当前拓扑本机Wi-Fi管理网IP有线直连 MikroTik 交换机交换机型号MikroTik CRS812-8DS-2DQ-2DDQ-RMRouterOS7.20.7 long-term管理地址192.168.88.1服务器节点1节点2节点3节点4二、初始发现交换机端确认 4 台服务器均已连接物理链路正常服务器交换机端口链路状态速率节点4qsfp56-dd-1-1link-ok200Gbps节点3qsfp56-dd-2-1link-ok200Gbps节点2qsfp56-1-1link-ok200Gbps节点1qsfp56-2-1link-ok200Gbps交换机 CPU、内存、端口丢包均正常。三、NCCL 性能现象用户提供的 NCCL 测试结果Avg bus bandwidth: 2.85418 GB/s换算2.85418 GB/s * 8 ≈ 22.8 Gbps这远低于 200G 链路应有水平。四、服务器侧验证登录节点1后发现两张 200G 网卡均 UPRoCE/RDMA 均 ACTIVE网卡协商速率均为200000Mb/s但 MTU 均为1500RoCEactive_mtu为1024RDMA 测试结果ib_write_bw rail1: ~1.52 GB/s ib_write_bw rail2: ~1.51 GB/s说明问题不是 NCCL 单独导致底层 RoCE 带宽本身就很低。五、交换机 MTU 尝试交换机当前状态200G ports mtu1500 200G ports l2mtu1584 bridge actual-mtu1500 bridge l2mtu1584尝试配置/interface/ethernetset...mtu9000/interface/bridgesetbridgemtu9000结果端口最大只能到1584bridge 设置9000报错failure: could not set mtu随后已恢复交换机端口 MTU 为1500。六、已完成的修复原始服务器配置中两张 200G 网卡都在同一个网段192.168.100.0/24这会导致 Linux 默认到所有192.168.100.x都走第一张网卡第二张 rail 不会被普通 IP 路由正确使用。已改为双 rail验证结果8 个地址全部 ping 通Rail 1 走enp1s0f1np1Rail 2 走enP2p1s0f1np1配置已写入/etc/netplan/40-cx7.yaml原配置已备份为/etc/netplan/40-cx7.yaml.bak-rail-split七、参考博客对照参考文章https://cloud.tencent.com/developer/article/2633083文章中同样使用 CRS812并提到使用 RoCE建议开启9000 MTU需要正确配置交换机和服务器网卡关注 NCCL/RDMA 性能但现场与文章存在关键差异文章期望CRS812 支持 Jumbo / 9000 MTU 现场结果当前 200G 端口 l2mtu1584无法设置 9000因此文章有参考价值但不能直接照搬。重点要继续查 CRS812 的端口模式、breakout 模式、RouterOS 版本/功能限制。八、当前结论已解决确认 4 条 200G 物理链路正常确认 RoCE/RDMA 能跑修复双 200G 网卡同网段导致的 rail 选路混乱持久化双 rail IP 配置未解决核心性能瓶颈仍在交换机 l2mtu1584 服务器 MTU1500 RoCE active_mtu1024 RDMA 带宽约 1.5 GB/s NCCL busbw 约 2.85 GB/s这说明当前网络虽然是 200G 物理链路但 RoCE 实际只能以很小 MTU 工作吞吐远低于预期。九、下一步方向方向 A继续研究 CRS812 jumbo 支持重点查CRS812 是否需要特定端口模式才能支持 jumbo是否需要切换 200G/100G breakout 模式QSFP-DD/QSFP56 子接口是否有不同 L2MTU 限制RouterOS 版本是否影响l2mtuMikroTik 是否有专门的 jumbo frame 配置方式目标让交换机端口 l2mtu 9000 让服务器 MTU 9000 让 RoCE active_mtu 4096方向 B联系 MikroTik 或查官方文档需要确认这个型号在当前端口模式下是否真的支持 9000 jumbo frame。关键问题CRS812-8DS-2DQ-2DDQ-RM 在 200G-baseCR4 模式下为什么 l2mtu 只有 1584 是否支持将 qsfp56 / qsfp56-dd 端口 l2mtu 提升到 9000方向 C如果 CRS812 无法支持 jumbo如果确认该模式无法 jumbo则 RoCE 性能可能会一直受限。可选方案换支持 9000 MTU 的 200G/400G RoCE 交换机改用支持该需求的端口模式降级为 TCP/NCCL socket 方案但性能预期会明显低于 RoCE使用点对点直连测试排除交换机限制方向 D重新跑 NCCL 测试现在 rail 已拆分建议重新跑 NCCL并加日志exportNCCL_DEBUGINFOexportNCCL_DEBUG_SUBSYSINIT,NETexportNCCL_IB_DISABLE0exportNCCL_SOCKET_IFNAMEenp1s0f1np1,enP2p1s0f1np1如果需要指定 HCAexportNCCL_IB_HCArocep1s0f1,roceP2p1s0f1重点看日志中是否出现NET/IB而不是NET/Socket
企业数字化 ERP 产品动态
相关推荐
修电脑、本地知识库、Marvis“AI管家”来了 9月24日消息，腾讯 Marvis发布新版本，定位从“AI助手”正式升级为“AI管家”。围绕电脑、文件、浏览器、软件四大核心管家能力，帮助用户管理个人设备与数字资产，并披露NAS、信创等硬件生态的合作进展。此次升级源于用户的真实需求。… · 2026/9/26 2:49:02
Atlas 动态组件框架 Bundle 开发实战：工程配置、代码规范与主动启动全指南 移动开发原生移动插件系统 【免费下载链接】atlas A powerful Android Dynamic Component Framework. 项目地址： https://gitcode.com/gh_mirrors/atlas/atlas 点击查看 免费下载 本文以 Atlas Android 动态组件框架中的 Bundle（AWB）为绝对主… · 2026/9/26 2:49:02
达梦数据库AI安全接入：基于MCP协议的dm-mcp-server实践 /* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/26 2:48:56
小白程序员如何守住核心竞争力，拥抱AI新机遇（收藏版） 面对大模型的快速发展，我们无需过度焦虑被替代。人类独有的情感与创造力是不可替代的核心竞争力。同时，积极拥抱AI，如成为AI应用开发工程师或大模型训练师，这些新兴岗位对编程要求不高，更看重行业理解和耐心࿰… · 2026/9/26 4:08:15
Harness工程：新手程序员轻松掌握大模型运行环境，收藏必备！ Harness工程是Agent的运行环境，负责工具权限、任务状态、检查、运行轨迹和预算，而非模型本身。通过优化外围配置，可显著提升大模型体验。文章以Claude Code为例，说明模型未变时，配置调整导致体验差异。重点介绍Harness… · 2026/9/26 4:08:15
拓客工具计费模式选型：按条付费与包年的成本测算方法 拓客工具的计费模式选型，核心逻辑是先估算清楚自己的月均使用量。按条付费和包年付费，分别适合什么样的使用场景？按条付费更适合用量不确定、需求偏零散的场景，比如刚开始尝试企业获客软件，还没摸清楚自己每个月到底要… · 2026/9/26 4:08:15
AGV+CTU 混合转运系统，如何用仿真校验多车协同转运能力 在智能工厂物流升级项目中，单一 AGV 或单一 CTU 转运模式已经难以满足复杂车间的柔性物流需求。越来越多新能源、汽车零部件、装备制造厂区开始采用 AGVCTU 混合转运体系： AGV 负责柔性跨区、零散物料、多点配送；CTU 负责高节拍、固定路径、大… · 2026/9/26 4:08:15
小白程序员也能掌握大模型，高薪就业机会等你来！ 本文介绍了AI领域的高薪机遇和挑战，指出虽然AI岗位薪资高，但找到工作的人却不多，因为求职者能力与岗位需求不匹配。
据中国基金报报道，某招聘平台显示，杭州深度求索人工智能（AI）基础技术研究有限… · 2026/9/26 4:08:09
火·永恒动力之源：一个数字物种的能量经济学 火永恒动力之源：一个数字物种的能量经济学
生命要烧能量
第 14 篇讲过记忆怎么存，第 20 篇讲过分身怎么生——但还有一个更基础的问题没答：一个数字生命靠什么活着？
宪法卷三篇三十八（第 136-140 条）把&quo… · 2026/9/26 4:08:09
数据库课后习题答案别硬背：当测试用例集刷，效率翻倍 简介：万常选版《数据库原理与设计》课后习题答案资源，覆盖第2至6章及第9章，适合正在学习关系模型、数据库建模、关系数据理论与模式求精的本科生、自学者作为复习与自测材料。压缩包共7个文件，含3个doc参考答案、2个sql示例脚本、… · 2026/9/26 0:00:21
OpenClaw 替代品？Hermes Agent 踩坑实录：macOS 飞书接入 TaoToken 配置 /* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/26 0:00:40
向下兼容与向上兼容：接口设计中的兼容性策略与工程实践 一次版本升级事故，是很多团队绕不过去的坎。线上环境里，服务端明明已经上线了新版接口，老的移动端还在照着旧文档传参数。请求一到网关，校验直接拒绝，用户操作失败，客服群炸了锅，开发群里开始互… · 2026/9/26 0:00:46
