【Ubuntu】GTX 1080 Ti 显卡占用为0但功率高达60W的排查与解决

背景实验室有一台四卡 1080 Ti 的深度学习服务器平时主要用来跑训练。某天没任务的时候我随手敲了一下nvidia-smi结果发现了一个奇怪的现象四张卡显存占用全是 0利用率也是 0可功率每张都在 55~60W 左右而且全都处在 P0 最高性能状态。正常来说显卡空闲时应该降频节能这个数字明显不对劲。于是我顺着查了一下最后发现原因很简单一条命令就能解决。这里把排查过程记录下来给遇到同样问题的朋友参考。我的服务器配置如下配置项详情系统Ubuntu显卡NVIDIA GeForce GTX 1080 Ti × 4(11GB 显存)驱动版本580.159.03CUDA Version(驱动支持的最高版本)13.0问题现象空闲状态下执行nvidia-smi输出如下(只截取了关键部分)(base) userserver:~$ nvidia-smi ----------------------------------------------------------------------------------------- | NVIDIA-SMI 580.159.03 Driver Version: 580.159.03 CUDA Version: 13.0 | --------------------------------------------------------------------------------------- | GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC | | Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. | || | 0 NVIDIA GeForce GTX 1080 Ti Off | 00000000:03:00.0 Off | N/A | | 42% 32C P0 60W / 250W | 0MiB / 11264MiB | 0% Default | --------------------------------------------------------------------------------------- | 1 NVIDIA GeForce GTX 1080 Ti Off | 00000000:04:00.0 Off | N/A | | 40% 38C P0 58W / 250W | 0MiB / 11264MiB | 0% Default | --------------------------------------------------------------------------------------- | 2 NVIDIA GeForce GTX 1080 Ti Off | 00000000:81:00.0 Off | N/A | | 46% 36C P0 57W / 250W | 0MiB / 11264MiB | 0% Default | --------------------------------------------------------------------------------------- | 3 NVIDIA GeForce GTX 1080 Ti Off | 00000000:82:00.0 Off | N/A | | 44% 33C P0 54W / 250W | 0MiB / 11264MiB | 1% Default | --------------------------------------------------------------------------------------- | No running processes found | -----------------------------------------------------------------------------------------重点看三个地方Perf 一栏是 P0P0 是全速运行状态空闲时应该是P8。功率 54~60W1080 Ti 真正空闲时一般只有10~20W。Persistence-M 一栏是 Off这就是问题的关键下面会讲。温度(3238°C)和风扇转速(4046%)都正常说明硬件本身没什么问题。原因分析罪魁祸首是Persistence Mode(持久模式)关闭了。持久模式关闭时如果没有程序在用显卡驱动就会把 GPU 的状态卸载掉。这时候一旦有程序来访问显卡(包括nvidia-smi本身)驱动就得重新初始化 GPU显卡会被临时拉到 P0。也就是说我每次敲nvidia-smi看到的都是显卡刚被叫醒那一瞬间的状态自然一直是 P0 高功耗。⚠️避坑提示一开始我以为是读数不准就用nvidia-smi -lms 100每 0.1 秒刷新一次去盯着看结果四张卡一直都是 60W 左右更迷惑了。其实高频轮询本身就会不停地访问驱动显卡根本没有机会降到 P8。排查空闲功耗时千万别开高频监控否则测出来的就是被监控程序吵醒的假象。解决方法开启持久模式执行下面这条命令给所有显卡开启持久模式sudonvidia-smi-pm1简单解释一下sudo修改显卡设置需要管理员权限-pmpersistence mode 的缩写1表示开启0表示关闭执行后再敲一次nvidia-smiPersistence-M 一栏变成 On就说明设置成功了。验证功耗是否恢复正常先把之前开着的监控全部关掉(在对应终端按CtrlC)然后什么都不做静置 1~2 分钟让显卡自己降频。之后执行下面这条命令只查询一次nvidia-smi --query-gpuindex,pstate,power.draw,clocks.sm,clocks.mem--formatcsv这条命令只输出我们关心的几项显卡编号、性能状态、功耗、核心频率、显存频率。后面没有加-l或-lms所以查一次就结束不会打扰显卡。我这边的输出如下index, pstate, power.draw [W], clocks.current.sm [MHz], clocks.current.memory [MHz] 0, P8, 17.16 W, 139 MHz, 405 MHz 1, P8, 9.66 W, 139 MHz, 405 MHz 2, P8, 9.56 W, 139 MHz, 405 MHz 3, P8, 9.07 W, 139 MHz, 405 MHz四张卡全部进入P8核心频率降到 139 MHz显存频率降到 405 MHz功耗在9~17W这就是 1080 Ti 正常的空闲水平了。 0 号卡比其他三张高了几瓦这在正常范围内可能是个体差异也可能是它承担了一些系统层面的轻量工作不用在意。设置开机自动开启注意nvidia-smi -pm 1重启后会失效。想让它一直生效推荐启用 NVIDIA 官方的持久化守护进程sudosystemctlenable--nownvidia-persistenced重启服务器后用nvidia-smi看一下 Persistence-M 是否仍然显示 On 就行。⚠️避坑提示我第一次执行这条命令时直接报错了Failed to enable unit: Unit file nvidia-persistenced.service does not exist.原因是驱动如果是用 NVIDIA 官网的.run安装包装的通常只会装上nvidia-persistenced这个程序不会自动注册成 systemd 服务。遇到这种情况按下面的方法手动创建服务文件就行。手动创建 nvidia-persistenced 服务先确认程序本身是存在的whichnvidia-persistenced正常会输出/usr/bin/nvidia-persistenced。如果什么都没输出说明程序也没装apt 方式安装的驱动可以用sudo apt install nvidia-compute-utils-580补上。创建服务文件。直接复制下面整段到终端执行sudotee/etc/systemd/system/nvidia-persistenced.service/dev/nullEOF [Unit] DescriptionNVIDIA Persistence Daemon Wantssyslog.target [Service] Typeforking ExecStart/usr/bin/nvidia-persistenced --verbose ExecStopPost/bin/rm -rf /var/run/nvidia-persistenced [Install] WantedBymulti-user.target EOF如果第 1 步查到的路径不是/usr/bin/nvidia-persistenced记得把ExecStart那一行改成实际路径。让 systemd 重新加载配置再启用服务sudosystemctl daemon-reloadsudosystemctlenable--nownvidia-persistenced看到Created symlink ...这一行说明开机自启已经设置好了。检查服务状态systemctl status nvidia-persistenced我这边的输出(节选)● nvidia-persistenced.service - NVIDIA Persistence Daemon Loaded: loaded (/etc/systemd/system/nvidia-persistenced.service; enabled; vendor preset: enabled) Active: active (running) ... server nvidia-persistenced[...]: device 0000:81:00.0 - persistence mode enabled. server nvidia-persistenced[...]: device 0000:82:00.0 - persistence mode enabled. server systemd[1]: Started NVIDIA Persistence Daemon.看到active (running)和enabled并且每张卡都有persistence mode enabled就说明成功了。systemctl status默认只显示最后 10 行日志卡多的话前面几张卡的记录可能被挤掉了并不是没生效。想看完整记录可以用journalctl -u nvidia-persistenced或者直接看nvidia-smi里每张卡的 Persistence-M 是不是 On。如果实在装不上这个服务还有个简单的替代办法执行sudo crontab -e在末尾加一行reboot /usr/bin/nvidia-smi -pm 1让系统每次开机自动开启持久模式。如果开了持久模式还是降不下来我这边开启持久模式后就直接解决了。如果你的显卡静置后仍然长时间停在 P0、功耗 50W 以上可以按下面的思路继续排查。看看有没有后台程序在偷偷访问显卡。nvidia-smi只会显示占用了显存的进程像 Docker 容器、GPU 监控 exporter(DCGM、Prometheus 之类)、挂着的 Jupyter 内核这类程序不一定显示出来用下面的命令可以查到sudofuser-v/dev/nvidia*查看驱动报告的性能状态和时钟设置nvidia-smi-q-dPERFORMANCE,CLOCK如果发现 Applications Clocks 或 Locked Clocks 被人手动设置过可以恢复默认sudonvidia-smi-rgcsudonvidia-smi-rac这个问题有什么影响说实话影响不大。60W 只有 1080 Ti 功耗上限(250W)的四分之一左右温度也很低对硬件没有损害。主要是浪费电四张卡每张多耗约 45W一天下来大约多用 4 度电左右另外发热和风扇磨损会稍微多一点点。另外需要说明的是持久模式只管空闲时的功耗状态它解决不了训练过程中的显卡报错、掉卡这类问题那些通常和供电、散热或硬件本身有关需要另外排查。补充Pascal 老卡用户注意 CUDA 版本顺便提一句580 系列驱动是 NVIDIA 官方支持 Pascal 架构(1080 Ti 等)的最后一个驱动分支而 CUDA 13 的工具链已经不再支持为 Pascal(sm_61)编译。nvidia-smi右上角显示的CUDA Version: 13.0只是驱动能支持的最高版本不影响使用。但装 PyTorch 等框架时建议选择基于 CUDA 12.x 构建的版本否则可能遇到no kernel image is available for execution on the device之类的报错。总结显卡占用为 0 但功率很高、一直处于 P0大概率是持久模式没开nvidia-smi每次查询都把显卡唤醒了。执行sudo nvidia-smi -pm 1开启持久模式再用nvidia-persistenced设置开机自启就能让显卡空闲时正常回到 P8、10W 左右。排查的时候记得别开高频监控不然测到的永远是被吵醒的状态。