首页/新闻资讯/正文详情

perf 实战:怎么聚焦热点函数?

发布时间:2026/11/19 4:26:35 来源:云帆数科 栏目:资讯中心
perf 实战:怎么聚焦热点函数?
perf 实战怎么聚焦热点函数实验环境Ubuntu 24.04 / 内核 6.8.0-106-generic / Cgroup v2 / 华为云 FlexusX 8C16G镜像加速已配置本文所有命令输出均来自真实实验机可直接复现。一、引子线上 CPU 飙到 100%但你看不见里面在干嘛一个 Go/Java 服务 CPU 打满你top看到进程占 800% CPU却说不清到底是哪个函数、哪段逻辑在烧 CPU。加日志重启上 pprof在 C/C 原生服务、或者不想改代码也不想重启的现场最顺手的武器是perf——Linux 内核自带的采样型性能分析器。perf 的核心思想一句话用极低的 overhead周期性地看当前 CPU 正在执行哪条指令把大量样本聚合成一张谁最忙的排行榜。本文带你把 perf 的stat/record/report跑通并重点解决一个容器场景难题宿主机上怎么 profiling 一个容器里的进程符号还能解析得出来。二、准备靶子一个 CPU 密集型程序为了有稳定热点我在宿主机编译了一个纯计算的busy程序递归fib(20)编译成静态二进制带-g调试符号// busy.clonglongfib(intn){returnn2?n:fib(n-1)fib(n-2);}longlongwork(){longlongs0;for(inti0;i300000;i)sfib(20);returns;}intmain(){printf(result%lld\n,work());return0;}rootecs-a8bb-0002:~# gcc -O0 -g -static busy.c -o /root/busy-O0是为了让fib保持为独立函数好观察-g是为了能解析符号名。三、perf stat先看清负载长什么样perf stat不采样而是用PMUPerformance Monitoring UnitCPU 硬件计数器精确统计一段时期的硬件事件。它对判断负载类型特别有用。3.1 CPU 密集型高 IPC极低上下文切换rootecs-a8bb-0002:~# perf stat -d /root/busyPerformance counter statsfor/root/busy:11,220.07 msec task-clock# 1.000 CPUs utilized40context-switches# 3.565 /sec0cpu-migrations29page-faults32,530,466,004 cycles# 2.899 GHz1,722,444,232 stalled-cycles-frontend95,851,405,222 instructions# 2.95 insn per cycle IPC19,171,030,134 branches66,937,450 branch-misses# 0.35% of all branches27,903,244,400 L1-dcache-loads3,099,970 L1-dcache-load-misses# 0.01% of all L1-dcache accesses11.221611813secondstimeelapsed解读几个关键列IPCinstructions per cycle 2.95每时钟周期执行近 3 条指令非常高说明是典型的计算密集型、流水线喂得满。IPC 1才说明卡在访存/停顿。context-switches 408 核机器上跑 11 秒只有 40 次上下文切换说明它几乎一直在同一个 CPU 上算没被调度打断——典型的 CPU-bound。branch-misses 0.35%分支预测很准递归里全是直接调用 predictability 高。3.2 I/O 密集型低 IPC海量上下文切换同样用perf stat看一个 I/O 压力负载做对照rootecs-a8bb-0002:~# perf stat -e context-switches,cpu-migrations,instructions,cycles,task-clock \stress-ng--io4--timeout6519,640context-switches# 41.925 K/sec 爆炸多896cpu-migrations10,252,313,861 instructions# 0.57 insn per cycle IPC 暴跌18,091,490,923 cycles12,394.42 msec task-clock一眼对比指标busyCPU 密集stress-ng --ioI/O 密集IPC2.950.57context-switches40519,640排查结论遇到CPU 高但 IPC 低、上下文切换多大概率不是算得多而是频繁等 I/O / 锁 / 唤醒——该去看 syscall、锁竞争、磁盘而不是去优化算法。四、perf record report定位热点函数perf stat只给宏观指标要精确到函数用perf record采样 perf report聚合。4.1 采样rootecs-a8bb-0002:~# perf record -g -F 99 -o /root/perf-busy.data /root/busyresult2029500000[perf record: Captured and wrote0.217MB /root/perf-busy.data(1068samples)]-F 99每秒采样 99 次避开 100 的倍数防止与某些周期性任务共振。-g同时记录调用栈call graph这样能看到谁调用了热点。采样 11 秒得到 1068 个样本开销极小。4.2 聚合报告rootecs-a8bb-0002:~# perf report --stdio -i /root/perf-busy.data# Samples: 1K of event cycles:P# Event count (approx.): 39053415166# Children Self Command Shared Object Symbol# ........ ........ ....... ............. .......100.00%0.00% busy busy[.]_start|---_start __libc_start_main_impl|--99.85%--__libc_start_call_main main work fib fib fib|--99.66%--fib|--98.81%--fib|--97.40%--fib|--93.07%--fib|--77.15%--fib|--59.35%--fib --38.05%--fib结论一目了然fib函数占据了 99.85% 的采样Children 列即包含它的调用链。调用链是main → work → fib → fib → ...递归把栈打得很深。Self列fib自身也接近 100%说明热点就在这个函数体内部——典型的计算量爆炸型热点。这就是 on-CPU 分析的标准闭环采样 → 按函数/栈聚合 → 顺着 Children 最高的链往下钻找到 Self 占比最高的叶子函数。4.3 perf top交互/批量perf top能实时看热点但它是交互式 TUI在 SSH/批处理里得用-bbatch模式。本实验机 PMU 不支持 branch stack直接perf top -b会报错Error: cycles:PH: PMU Hardware or event type doesnt support branch stack sampling.因此在无法交互的远端直接用perf recordperf report --stdio更稳。这也是生产排障的推荐姿势采一段样本落盘再离线分析不依赖 TTY。五、原理perf 为什么能看穿函数perf 的采样来源有两类PMU 硬件事件如cycles、cache-missesCPU 内部的性能计数器由硬件在每个时钟/事件触发时计数精度高、开销极低。软件/跟踪事件如context-switches、page-faults、syscalls:sys_enter_*内核埋点由内核在事件发生时记录。on-CPU分析用cycles事件perf 通过perf_event_open系统调用让内核按固定频率如 99Hz给当前正在跑的 CPU 发一个中断记录当时程序计数器 RIP / 指令指针和调用栈。把海量样本按符号用/proc/kallsyms、二进制里的符号表、DWARF 栈展开映射回函数名就得到热点排行榜。关键点采样 ≠ 精确计数它是统计推断。样本越多越准极短函数可能被低估采样偏差。overhead 低99Hz 意味着每核每秒仅 ~100 次中断对业务影响通常 1%。只反映 on-CPUperf 默认看不到在睡觉/等锁的时间那是 off-CPU需要别的方法如offcputime/eBPF。六、难点在宿主机上 profiling 容器进程 符号解析这是容器排障最常卡住的一步。容器里的进程在宿主机上就是普通的 host PID但默认看不到容器内的符号/二进制路径而且 cgroup v2 下 perf 的 cgroup 过滤有坑。6.1 按 PID 过滤最直接容器在宿主机上有真实 PID。先拿容器 init 进程的 host PIDrootecs-a8bb-0002:~# docker run -d -v /root/busy:/busy --name perf-ct alpine sh -c while true; do /busy; donerootecs-a8bb-0002:~# PID$(docker inspect perf-ct --format {{.State.Pid}})rootecs-a8bb-0002:~# echo 容器 init 主机 PID$PID容器 init 主机PID21350在宿主机上对它及其子进程采样rootecs-a8bb-0002:~# perf record -g -F 99 -p $PID -o /root/perf-ct.data sleep 6rootecs-a8bb-0002:~# perf report --stdio -i /root/perf-ct.data# Samples: 285 of event cycles:P# Children Self Command Shared Object Symbol# ........ ........ ....... ............... ..............99.44%0.00% busy busy[.]_start|---_start __libc_start_main_impl|--98.66%--__libc_start_call_main|main|work|fib|fib||--97.94%--fib||--96.86%--fib|--95.78%--fib关键发现在宿主机上按 PID 采样居然能直接看到容器内busy进程的fib热点99.44%这是因为容器的进程本质就是宿主机进程perf 在 host 视角采样再用宿主机的文件系统去解析符号——只要宿主机能读到那个二进制我们-v挂了/root/busy且二进制是静态的符号自包含解析就 OK。6.2 符号解析失败的坑与对策如果你的容器镜像是scratch/精简镜像、或宿主机没有对应二进制/调试符号perf report里会看到一堆[unknown]或只有地址。对策挂载容器根文件系统到宿主机docker cp c把/拷出来或docker run --privileged -v /:/host把整个宿主挂进去再用perf report --symfs /host指定符号根。--privileged或在宿主机直接跑 perf容器里通常没权限用 perf需要CAP_SYS_ADMIN/CAP_PERFMON所以排障实践是在宿主机侧 perf而不是进容器里 perf。保留调试符号出问题的二进制最好带-g且别 strip生产镜像若 strip 了可保留一份带符号的版本用于解析。-k /path/to/vmlinux要解析内核符号时需要对应内核的vmlinux本机/usr/lib/debug/boot/vmlinux-$(uname -r)或linux-image-*-dbgsym。6.3 按 cgroup 过滤v2 的坑理论上可以用perf record -G cgroup只采集某个容器的事件不必先找 PID。但本实验机的 perf6.8.12在 cgroup v2 下对-G的支持有限直接-G cgroup会报参数错误cgroup 监控需配合 system-wide 且与 cgroup v2 的接口对接要求较苛刻。因此实战建议容器场景优先用宿主机按 PID 过滤稳定且符号解析天然正确。cgroup 过滤更适合我想一次性看某个 cgroup 下所有进程、且不关心具体 PID的离线分析场景。七、排查思路总结perf 怎么用到排障里先看宏观perf stat跑几秒看 IPC 和 context-switches——判断是 CPU-bound 还是 I/O/锁-bound。再定位函数perf record -g -F 99 -p pid -- sleep 10采一段perf report --stdio顺着 Children 最高的链钻到 Self 最高的叶子函数。容器里在宿主机按容器 init 的 host PID 采样符号解析靠宿主能访问到带符号的二进制--symfs/--privileged挂载。内核态热点加-e cycles看[k]内核函数要更深就上 ftrace/eBPF见本系列后两篇。off-CPU 不在 perf 默认视野线程在睡、等锁、等网络时 perf 采不到——这类要 eBPF 的offcputime。八、小结与思考题小结perf 用 PMU/软件事件做低开销采样通过stat看 IPC 与上下文切换判断负载类型通过recordreport定位 on-CPU 热点函数。容器排障应在宿主机按 host PID采样并解决符号解析带符号二进制 --symfs/--privileged挂载。perf top -b在本机因 PMU 不支持 branch stack 失败生产更推荐 recordreport 离线分析。思考题为什么perf stat里IPC比CPU 利用率更能说明负载性质CPU 100% 但 IPC 0.3 可能是什么问题perf record -F 99的采样频率越高越准为什么不用 9999Hz过高会带来什么副作用一个线程 80% 时间在futex_waitperf record能抓到它等锁的调用栈吗为什么提示on-CPU vs off-CPU容器里perf报Permission denied除了--privileged还有哪些最小权限组合CAP_PERFMON/CAP_SYS_ADMIN下一篇《ftrace 实战怎么查看长延时内核函数》——当热点进入内核态perf 不够细时用 ftrace 看调用链与耗时。

相关推荐

容器里不用 root 运行程序:UID 泄漏、User Namespace 与最小权限
容器里不用 root 运行程序:UID 泄漏、User Namespace 与最小权限

容器里不用 root 运行程序:UID 泄漏、User Namespace 与最小权限实验环境:Ubuntu 24.04,内核 6.8.0-106-generic,Docker 29.1.3,Cgroup v2。 本文所有「危害演示」均在本机实验容器内、以及主机 /tmp 下的临时目录中完… · 2026/11/13 6:20:19

AM62L防火墙机制:硬件内存访问控制与寄存器配置实战
AM62L防火墙机制:硬件内存访问控制与寄存器配置实战

1. AM62L防火墙机制:从硬件看门狗到内存卫士在嵌入式系统开发,尤其是涉及功能安全或信息安全的项目中,我们常常会听到“防火墙”这个词。不过,这里的防火墙并非你电脑上阻止网络攻击的软件,而是一种硬件级别的内存访问… · 2026/11/13 11:23:04

新手必看,五分钟用Python和Taotoken完成你的第一个大模型调用
新手必看,五分钟用Python和Taotoken完成你的第一个大模型调用

新手必看,五分钟用Python和Taotoken完成你的第一个大模型调用 对于初次接触大模型API的开发者来说,从注册到成功调用出结果,这个过程可能显得有些神秘。本文将提供一个极简的指引,帮助你快速上手。你将使用Taotoken平台&#xff… · 2026/11/15 8:31:10

洞泾电工证培训学校值不值得考?电工证报考全攻略
洞泾电工证培训学校值不值得考?电工证报考全攻略

洞泾电工证培训学校值不值得考?电工证报考全攻略 你正急着找工作,但手里缺一张特种作业证,尤其是电工证,没有它连入职都难。 洞泾电工证培训学校值不值得考… · 2026/11/19 4:25:49

夏邑县电工证培训推荐2026河南最新政策下怎么保证一次通过
夏邑县电工证培训推荐2026河南最新政策下怎么保证一次通过

夏邑县电工证培训推荐2026河南最新政策下怎么保证一次通过 怕考不过白交培训费?2026河南最新政策下,夏邑县电工证培训推荐要选对机构和方法,否则真可能浪费钱还拿不到证。最近不少南阳应届工程类毕业生都在问,如何在保证时间的前提下高效备考?今… · 2026/11/19 4:25:49

审电工证是什么流程官方回应来了,南阳卧龙区建筑工人都在问
审电工证是什么流程官方回应来了,南阳卧龙区建筑工人都在问

审电工证是什么流程官方回应来了,南阳卧龙区建筑工人都在问 怕考不过白交培训费?南阳卧龙区的建筑工人张师傅最近就遇到了这个问题。他花了三千多报名电工证培训,结果考试没过,培训机构说不能退费,他一时之间不知道该找谁说理去。其实,像张师傅这样的问… · 2026/11/19 4:25:49

电工证过期了不知道怎么复审延期?审电工证是什么流程全解析
电工证过期了不知道怎么复审延期?审电工证是什么流程全解析

电工证过期了不知道怎么复审延期?审电工证是什么流程全解析 证书过期了不知道怎么复审延期?你不是一个人。作为鹤壁的一名建筑工人,电工证是 上岗必备… · 2026/11/19 4:25:49

电工证能异地年审值不值得考?工地太忙根本没时间复习考试
电工证能异地年审值不值得考?工地太忙根本没时间复习考试

电工证能异地年审值不值得考?工地太忙根本没时间复习考试 工地太忙根本没时间复习考试,这几乎是所有一线电工的普遍痛点。电工证不仅是上岗的“通行证”,更关系到作业安全与法律责任。但很多人还是在纠结: 电工证能异地年审值不值得考… · 2026/11/19 4:25:49

电工证取证依据是什么官方回应实操考试心里没底怕挂科
电工证取证依据是什么官方回应实操考试心里没底怕挂科

电工证取证依据是什么官方回应实操考试心里没底怕挂科 你是不是也担心电工证实操考试过不了?怕自己操作不规范、动作不熟练,最后挂科浪费时间和钱?其实, 电工证取证依据是什么 ,官方早就给出了明确的说明,关键在于你有没有真正掌握考试的核心要点。… · 2026/11/19 4:24:49

长春初级电工证怎么考?通过率揭秘全在这里
长春初级电工证怎么考?通过率揭秘全在这里

长春初级电工证怎么考?通过率揭秘全在这里 之前考的证在外省能不能转过来?这几乎是每个想从事电工工作的人都会问的问题。特别是那些在外地打拼多年、手里握着一张“外地电工证”的人,到了长春想继续干这一行,第一反应就是“我的证能用吗?”。今天我们就… · 2026/11/18 8:19:55

国内电工证报考条件与考试时间
国内电工证报考条件与考试时间

低压电工证怎么考?学历不高也能报名,官方报名入口全在这 你是不是经常听说“电工证是入行门槛”,但又担心自己学历不够、经验不足,根本报不了名?别急,今天就带你从零了解【国内电工证】的报考流程、考试内容,还有怎么在 官方报名入口… · 2026/11/18 8:19:53

电工作业时如何断电?电子证书到底能不能全国通用?
电工作业时如何断电?电子证书到底能不能全国通用?

电工作业时如何断电?电子证书到底能不能全国通用? 实操考试心里没底怕挂科,特别是电工作业时如何断电这一操作,不仅关系到你能不能拿到证书,更关系到以后能不能顺利上岗。很多人觉得这不过就是“断个电”,但其实这里面的门道可不少,稍有不慎就可能出错… · 2026/11/18 14:38:14

姑苏区哪里考电工证好考前押题怎么找
姑苏区哪里考电工证好考前押题怎么找

姑苏区哪里考电工证好考前押题怎么找 工地太忙根本没时间复习考试,电工证考前还总找不到靠谱的 考前押题 资源,真让人头疼。如果你也是在苏州姑苏区从事建筑或电力行业的,那这些建议你一定要看完。 为什么姑苏区考电工证的人这么多?… · 2026/11/19 0:00:12

罗定能考电工证吗?外省证转过来流程全解析+郑州报考避坑指南
罗定能考电工证吗?外省证转过来流程全解析+郑州报考避坑指南

罗定能考电工证吗?外省证转过来流程全解析+郑州报考避坑指南 之前考的证在外省能不能转过来?这几乎是每个特种作业证书持有者都会遇到的问题,特别是像你这样已经在外地工作多年,想回老家罗定发展或者重新规划职业路径的人。别急,今天就给你一条清晰的路… · 2026/11/19 0:00:12

罗定能考电工证吗 电工证含金量到底有多少?
罗定能考电工证吗 电工证含金量到底有多少?

罗定能考电工证吗 电工证含金量到底有多少? 之前考的证在外省能不能转过来,这几乎是每个准备考电工证的朋友最先想到的问题。特别是在罗定这样的地方,很多人的电工证都是在外地考的,现在想在当地继续使用,但不知道怎么办。实际上,电工证的 含金量… · 2026/11/19 0:00:12

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/17 21:47:42

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/17 21:47:42

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/19 0:22:38

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码