开场在海光 DCU 上给大模型做 profile最难的通常不是“能不能生成 trace”而是 trace 生成以后该怎么看。一次 Qwen3.5-27B BF16 本地采样共产生总事件: 235,964 GPU 事件: 61,804 kernel 事件: 60,124 GPU event 总时长: 5773.493 ms直接按 kernel 总耗时排序只能看到一长串 Tensile、Triton、Attention 和自定义 kernel 名称。它不会主动告诉你哪些属于 Prefill哪些属于 Decode一个 kernel 每 token 调用了多少次调用次数能否对应回模型层数哪个时间桶才是真正值得优化的墙。本文不讨论某个新 kernel而是用这份海光 DCU 实测 trace演示怎样从事件上下文和调用计数还原完整推理结构。1. 先限制 Profile 的覆盖范围这次采样只覆盖一个有明确边界的请求3 个 q4096 Prefill chunk 1 个 q1685 Prefill tail 60 个 Decode step这是一个很重要的前提。如果 profile 覆盖多个并发请求、模型加载、首次编译和长时间生成事件数量会迅速膨胀而且很难把某个 kernel 归属到具体阶段。对海光 DCU 大模型服务更可靠的流程是服务先完成加载和必要 warmup - 开启 profiler - 只发送一个有代表性的请求 - 等请求完整结束 - 立即停止并保存 traceProfile 的目标是回答“时间花在哪里”不是复现最高吞吐。2. 第一刀按执行上下文切开 Prefill 和 DecodeTrace 中每批 GPU 事件都有上层执行上下文。利用 token 数和 generation 状态可以先分成上下文GPU event 总时长三个 q4096 Prefill chunk2720.145 ms一个 q1685 Prefill tail464.801 ms60 个 Decode step2586.460 msDecode 平均每步2586.460 ms / 60 43.108 ms/token这一步比直接看 top kernel 更重要。同一个 GEMM 名称可能同时出现在 Prefill 和 Decode但两个阶段的 M 维、并行度和优化方法完全不同。只有先按上下文切开后面的统计才有物理意义。3. 第二刀用调用次数识别模型结构3.1 LLMM1 kernelDecode 区间中LLMM1 总计10,560 launches 1,408.219 ms除以 60 个 Decode step10,560 / 60 176 launches/token 1,408.219 / 60 23.470 ms/token176 不是一个随机数字它可以完整映射回模型结构64 次 MLP gate/up 48 次 GDN qkvz 48 次 GDN BA 16 次 Full-Attention QKV ------------------------- 176 次/token当 trace 调用数与模型层数完全闭合时说明 kernel 归因基本可信。3.2 rocBLAS/Tensile GEMV同一 Decode 区间中rocBLAS/Tensile GEMV 为7,740 launches 876.431 ms换算后7,740 / 60 129 launches/token 876.431 / 60 14.607 ms/token129 同样可以映射回模块64 次 MLP down projection 48 次 GDN output projection 16 次 Attention output projection 1 次 lm_head -------------------------------- 129 次/token这类“调用计数闭环”很有价值。它不仅告诉我们 kernel 热不热还能检查是否漏统计了某类 Linear某个融合是否真正减少了 launchruntime marker 与实际调用数是否一致模型结构和 trace 是否来自同一版本。4. 第三刀把时间换算成每 token 预算LLMM1 和 rocBLAS 合计23.470 14.607 38.078 ms/token相对于 43.108 ms/token 的 Decode38.078 / 43.108 88.33%这说明该次海光 DCU trace 中Decode 的主要墙是 Linear而不是某个零散 pointwise kernel。其他主要 Decode 时间包括模块每 token 时间Decode 占比Page-contiguous Attention1.630 ms3.78%Packed GDN recurrent0.623 ms1.44%看到这个比例后优化优先级会变得清晰一个每层只省 2-3 us 的小融合很难改变总 TPOT一个覆盖上百次 Linear 的实现即使单次只快几个百分点也可能积累出端点收益继续优化占比不足 2% 的桶需要先证明足够大的绝对节省。Profile 的作用不是自动给出方案而是约束方案的物理上限。5. Prefill 不能沿用 Decode 的结论三个 q4096 Prefill chunk 的主要时间项为时间项总耗时占 q4096 Prefillaten::mm1840.596 ms67.67%Attention238.718 ms8.78%同一个模型在 Prefill 和 Decode 中呈现出不同形态Prefill: 大 M GEMM 长序列 Attention Decode: M1 Linear/GEMV 状态读取因此在 trace 分析中不能把“Linear 占 Decode 88.33%”理解成整次请求的统一占比也不能用 Decode 的 M1 kernel 去解释 q4096 Prefill。正确做法是分别建立两个预算TTFT 预算 - Prefill 上下文 TPOT 预算 - Decode 上下文6. 为什么只看 kernel 排行会误判假设 top kernel 列表中第一名是 LLMM1第二名是某个 Tensile kernel。如果不做上下文拆分至少会遇到三个问题。6.1 相同名称可能对应不同 shape同一库 kernel 可能被多个 Linear 模块复用。需要结合 M、N、K、调用次数和父事件才能映射到模型层。6.2 总时间高可能只是调用次数多一个 130 us 的 kernel 调用一万次会比一个 5 ms kernel 更靠前。优化时要同时看单次耗时 调用次数 覆盖层数 端点时间占比6.3 Profile 自身不是端点 benchmarkProfiler 会引入记录、同步和缓冲开销。Trace 中的 43.108 ms/token 用于建立时间构成不能直接替代无 profiler 的服务 TPOT。7. 一次真实的 Profiler 退出故障这次目标请求已经正常完成trace 文件也成功写出但调用 stop_profile 后ROCm runtime 触发 VMFaultEngineCore 随后退出。因此这次运行的处理方式是已写出的 trace: 作为诊断证据保留 profiled request 的吞吐和 TPOT: 不作为端点性能证据 发生故障后的服务: 不继续复用做 benchmark这个边界非常重要。“停止 profiler 时服务崩溃”不代表之前写出的所有 event 都无效但它说明 profiler 生命周期已经改变了服务状态不能继续拿同一进程做性能 A/B。在海光 DCU 上采集长 trace 时建议把 profiler 服务视为一次性诊断实例。8. 一套可复用的海光 DCU Trace 分析流程第一步固定请求选择一个能够覆盖目标 Prefill shape 和足够 Decode step 的单请求。第二步记录覆盖范围明确写出Prefill chunk 数量与 token 数 Decode step 数量 是否包含首次编译 是否包含模型加载第三步按上下文分桶至少分成大块 Prefill尾部 PrefillDecodeexecute context 之外的采样和拷贝。第四步统计 kernel count 和 total time不要只保留 top-N 时间还要保留 count 和平均耗时。第五步除以 Decode step把总调用数和总耗时换算成launches/token ms/token第六步映射回模型层检查调用数能否由 MLP、GDN、Attention 和 lm_head 层数完整相加。第七步计算物理上限对候选优化估算maximum endpoint saving current bucket time × removable fraction第八步另起干净服务做 A/BProfile 负责定位无 profiler 的同环境端点负责确认真实吞吐、TTFT、TPOT 和输出一致性。9. 对海光 DCU 开发者的意义这份 trace 证明在 gfx936 本地软件栈中可以通过 PyTorch/ROCm 兼容的 trace 链路同时观察Tensile GEMM自定义 HIP kernelTriton kernelCUDAGraph replayAttention 与 GDN 路径Prefill 和 Decode 上下文。但数据量很大。真正有用的不是生成一个 trace 文件而是把 60,124 个 kernel event 压缩成可验证的模型结构176 次 LLMM1/token 129 次 rocBLAS GEMV/token 38.078 ms Linear/token 88.33% Decode 占比当调用数、层数和时间全部闭合时profile 才从“漂亮的时间线”变成可以指导海光 DCU 优化的工程证据。10. 结论从 235,964 条 trace event 中本地最终还原出三个 q4096 Prefill chunk一个 q1685 tail60 个 Decode step每 token 176 次 LLMM1每 token 129 次 rocBLAS GEMVLinear 合计 38.078 ms/tokenLinear 占 Decode 88.33%。这篇文章的核心不是某个 kernel 排名而是一种海光 DCU profile 方法先按执行上下文切阶段再用调用次数还原模型结构最后把总时间换算成每 token 的物理预算。Profile 用来决定哪里值得做端点 A/B 用来决定做完是否真的有效。两种证据不能混用。本文数据来自一次有明确覆盖范围的本地 gfx936 诊断 trace。Profiler 运行具有额外开销文中 profile 时间只用于算子归因和预算分析不代表无 profiler 服务的最终吞吐。
企业数字化 ERP 产品动态
相关推荐
Kotlin JSON处理:Moshi库的核心原理与最佳实践 1. Moshi与Kotlin的JSON处理艺术在Android和Kotlin开发领域,JSON数据处理一直是日常开发中的高频操作。传统方案如Gson虽然功能强大,但在Kotlin生态中总显得有些水土不服。Square公司出品的Moshi库正是为解决这一痛点而生,它专为现代Kotlin开… · 2026/10/16 10:56:50
Unity中2D Spine角色外发光效果实现:Shader与后处理方案全解析 1. 项目概述:为什么2D Spine角色需要“外发光”?在2D游戏开发中,尤其是使用Spine动画的角色,我们常常会遇到一个需求:让角色在特定状态下(比如被选中、释放技能、进入无敌状态)显得更加突出和醒… · 2026/10/27 20:40:26
无需Root!QtScrcpy:3分钟实现跨平台Android投屏终极指南 无需Root!QtScrcpy:3分钟实现跨平台Android投屏终极指南 【免费下载链接】QtScrcpy Android real-time display control software 项目地址: https://gitcode.com/GitHub_Trending/qt/QtScrcpy
还在为手机屏幕太小而烦恼?想要在电脑上… · 2026/10/30 1:43:15
特种作业操作证的分类你知道吗?郑州报考避坑指南帮你拿证快人一步 特种作业操作证的分类你知道吗?郑州报考避坑指南帮你拿证快人一步 你现在正被“急需特种作业证才能上岗找工作”这个问题压得喘不过气?别急,今天就给你讲清楚特种作业操作证的分类,帮你避开郑州报考的那些坑。 一、特种作业操作证都有哪些类别?… · 2026/11/20 17:24:21
宜宾考电工证什么地方官方回应实操考试通过率及备考建议 宜宾考电工证什么地方官方回应实操考试通过率及备考建议 实操考试心里没底怕挂科,特别是像你这样在河南中小施工企业工作的负责人,经常要面对各种资质审核和安全检查,一证在手,心里才踏实。现在很多人在宜宾考电工证,但对报名流程、考试内容和通过率都摸… · 2026/11/20 17:24:21
沧州代办电工证官方回应:实操考试心里没底怕挂科?这几点必须知道 沧州代办电工证官方回应:实操考试心里没底怕挂科?这几点必须知道 实操考试心里没底怕挂科?别急,官方回应来了,沧州代办电工证的考试流程和通过率其实早有标准,只要掌握方法,顺利通过不是问题。很多学员一上来就焦虑,觉得自己动手能力差、考试环境陌生… · 2026/11/20 17:24:21
万州电工证在哪里报考怎么避开中介坑 考前押题怎么找 万州电工证在哪里报考怎么避开中介坑 考前押题怎么找 不知道去哪报名怕被中介坑,万州电工证在哪里报考?你不是一个人。身边不少工人朋友,因为不了解流程、被中介忽悠,最后花了冤枉钱还考不上证。别急,今天从河南劳务班组负责人的角度,给你讲讲真实、靠… · 2026/11/20 17:24:21
无电工证禁止?内部消息揭秘特种作业证报考真相 无电工证禁止?内部消息揭秘特种作业证报考真相 你要是刚毕业,正愁找不到工作,或者已经在工地干了几年,但还没拿到电工证,那你得听好了, 无电工证禁止 直接上岗,连报名都难,这是行业潜规则,也是政策硬杠杠。 今天我跟你说的,都是 内部消息… · 2026/11/20 17:24:21
肇东低压电工证哪里考良心建议,别被中介坑了 肇东低压电工证哪里考良心建议,别被中介坑了 你是不是也遇到过这样的情况?找遍了网上各种代办机构,结果报名后被各种收费、资料不全、考试时间推后,最后花了钱还没拿到证?别急,这正是很多人在报考【肇东低压电工证哪里考】时会遇到的痛点。 良心建议… · 2026/11/20 17:23:21
长春初级电工证怎么考?通过率揭秘全在这里 长春初级电工证怎么考?通过率揭秘全在这里 之前考的证在外省能不能转过来?这几乎是每个想从事电工工作的人都会问的问题。特别是那些在外地打拼多年、手里握着一张“外地电工证”的人,到了长春想继续干这一行,第一反应就是“我的证能用吗?”。今天我们就… · 2026/11/20 16:18:19
国内电工证报考条件与考试时间 低压电工证怎么考?学历不高也能报名,官方报名入口全在这 你是不是经常听说“电工证是入行门槛”,但又担心自己学历不够、经验不足,根本报不了名?别急,今天就带你从零了解【国内电工证】的报考流程、考试内容,还有怎么在 官方报名入口… · 2026/11/19 17:40:37
电工作业时如何断电?电子证书到底能不能全国通用? 电工作业时如何断电?电子证书到底能不能全国通用? 实操考试心里没底怕挂科,特别是电工作业时如何断电这一操作,不仅关系到你能不能拿到证书,更关系到以后能不能顺利上岗。很多人觉得这不过就是“断个电”,但其实这里面的门道可不少,稍有不慎就可能出错… · 2026/11/19 17:50:07
建设厅特种工周三报名怎么弄?上岗必备别被中介坑 建设厅特种工周三报名怎么弄?上岗必备别被中介坑 不知道去哪报名怕被中介坑?作为商丘某高校工程类应届毕业生,小李最近就遇到了这样的困扰。他刚毕业,正在找实习岗位,发现很多工地都要求持有特种作业操作证,尤其是【建设厅特种工周三报名】这个时间点,… · 2026/11/20 0:00:54
中专考的中级电工证内部消息全攻略 中专考的中级电工证内部消息全攻略 你中专毕业,手头有中级电工证,但不知道从哪开始报名,怕被中介坑?别急,这篇文章就是为你量身定制的“内部消息”,帮你避开报名陷阱,稳稳拿到证书。… · 2026/11/20 0:00:54
外省电工证能转过来吗?电子证书怎么查电工作业教学效果评价 外省电工证能转过来吗?电子证书怎么查电工作业教学效果评价 之前考的证在外省能不能转过来?这几乎是所有在外地打拼的电工从业者最关心的问题。特别是像洛阳这样的工业城市,很多电工证是在外地考的,现在想在当地用,流程是不是很复杂?其实,只要搞清楚… · 2026/11/20 0:00:54
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/20 10:25:45
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/20 10:25:54
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/20 10:26:03