RTX 5090 跑一天 AI 耗多少电：整机功耗实测、电费核算与降耗

有位朋友上周把新卡装进机器连跑两天模型第一反应不是看吞吐量而是盯着电表发呆——转得比他预想的快多了。他问我“RTX 5090 跑一天 AI到底要耗多少电”这个问题看着简单真要认真回答牵扯的东西不少卡本身的功耗、整机其他部件、电源转换损耗、负载类型、电价档位还有那部分被大多数人忽略的散热成本。我干脆把这事从头到尾算一遍把口径、测量方法、计算过程和降耗手段都摊开讲。这篇文章适合三类人看自己攒机跑本地模型的、小团队要核算推理成本的、以及单纯想知道“7×24 跑 AI 到底烧不烧钱”的。不管你是刚上手的新手还是已经跑过几套机器的老手下面这套算法都能直接抄过去用换成别的卡也一样成立。我会先统一口径再讲怎么测然后算账最后给降耗方案和踩坑记录。1. 先把口径统一一张卡的功耗不等于一台机器的耗电1.1 从芯片到墙插中间隔着好几层损耗很多人算电费时的第一个错误是直接拿显卡的 TBP 乘以 24 小时。这张卡的官方标称板卡功耗是 575W但这个数字指的是“板卡级”功耗也就是 GPU 核心加显存加供电模块在板卡这一层的合计它既不是芯片裸片的功耗也不是你墙插上真实流过的功率。从芯片到墙插中间至少还有三层要加上去。第一层是整机的其他部件CPU 在跑推理时通常在 60W 到 100W 之间浮动主板芯片组、内存、固态硬盘、机箱风扇和水泵加起来大概还要 80W 到 120W。第二层是电源的转换损耗电源把交流电转成直流电不是无损的80Plus 金牌电源在 50% 到 70% 负载区间效率大概 90%也就是说你每用 1 度电有 0.1 度变成了电源内部的热。第三层是电源在低负载下的效率塌陷这个后面单独讲很多人算待机电费时栽在这。所以真实口径应该是这样的整机墙插功率约等于显卡功耗 其他部件功耗除以电源效率。按卡 575W、其他部件 100W、效率 90% 来算就是 675 除以 0.9大约 750W。这个数字比很多人以为的 575W 高了三成而这正是算电费时最容易被忽略的部分。还有一个必须提的点是瞬时峰值。现代显卡在负载切换的毫秒级窗口里会出现远超标称的电流尖峰经验上能到标称的一点五倍甚至两倍功率计因为采样间隔通常是一秒往往抓不到这个尖峰但你的电源抓得到。这也是为什么电源选型不能只按 750W 卡着算后面第 5 节会细说。1.2 三种典型负载功率画像完全不是一回事同样叫“跑 AI”待机挂着、跑推理、跑训练功率曲线形状完全不同用电量能差出十倍以上。不把这三种场景分开算出来的账没有意义。待机或空闲挂载模型加载进显存但不推理或者干脆没加载。这时候显卡核心大部分单元休眠整机墙插功率大概在 55W 到 80W 之间。注意这个区间波动很大因为电源在这个负载点上效率很低可能只有 70% 上下所以部件实际耗 45W墙插可能要 65W。推理场景这是波动最大的一种。大模型推理分两个阶段预填充阶段是并行处理输入计算密集功率能顶到接近满载解码阶段是一个 token 一个 token 往外吐受显存带宽限制计算单元利用率掉下来功率会明显回落。加上请求间隔、批大小变化实测曲线像锯齿P95 能到 700W 以上平均值可能只有 600W 出头。用平均值算电费是对的但用峰值选电源才对。训练场景功率曲线最平稳。持续的反向传播和矩阵运算把计算单元压得很满墙插功率基本贴着 750W 上下小幅波动几小时不变。这种负载算电费最简单直接乘时间就行。负载类型卡侧功耗整机墙插估计曲线特征24 小时耗电空闲挂载10 到 20W55 到 80W平稳低位约 1.6 度推理服务400 到 575W560 到 750W锯齿状波动大13 到 18 度持续训练570 到 580W740 到 770W平稳贴顶约 18 度这张表里的数字是常见配置下的经验区间具体到你自己的机器会因为 CPU 型号、内存条数、硬盘数量、风扇转速有出入所以第 2 节的实测环节不能省。2. 怎么把数字测准工具、口径和采样窗口2.1 硬件口径墙插功率计是唯一可信的裁判软件读出来的功耗永远是估算值只有墙插上真实流过的功率才算数。我建议直接上一个带累计电量功能的墙插式功率计几十块到一两百块的都有选的时候看三个参数一是支持真有效值测量因为电源是非线性负载功率因数不为 1便宜的功率计只测有功功率或者算法粗糙读数会偏二是采样间隔至少一秒能记录更好三是额定电流要够普通插座回路是 10A对应 2500W整套机器 750W 完全够但如果你是多卡或者还要接别的设备就得看清楚了。接法很简单把整机用的排插插到功率计上功率计插到墙上中间不要再串别的设备。测量时把所有相关设备都接在这个排插上包括显示器如果它也算你的运行成本的话。要注意的是有些功率计本身会发热那是内阻在消耗劣质产品内阻大的时候自身发热明显读数也会偏低摸上去烫手就换一个。记录方式有两种手动的话每小时抄一次读数跑满 24 小时把累计电量记下来这个方法粗糙但够用讲究一点就用带数据记录或者蓝牙导出的型号能拿到逐秒或者逐分的曲线后面做能量积分才准。我自己是两种都用长期跑的时候用记录型临时测一个任务就用眼睛抄。2.2 软件口径显卡监控只能看卡看不到整机命令行工具能拿到板卡功耗但它给的是板卡级的估算值跟墙插差着一大截。看数据可以这样nvidia-smi --query-gputimestamp,power.draw,utilization.gpu,memory.used,temperature.gpu --formatcsv -l 1这条命令每秒采一次输出到终端或者重定向到文件。power.draw这个字段是板卡功耗的传感器读数通常已经包含了核心和显存但不包含电源损耗和其他部件。如果你拿这个数字直接乘电价算出来的电费会比实际少两到三成这是最常见的算错方式。想长期记录的话写个小脚本把数据落盘更实用import subprocess, time, csv fields [timestamp, power.draw, utilization.gpu, memory.used] with open(gpu_log.csv, w, newline) as f: w csv.writer(f) w.writerow(fields) while True: out subprocess.check_output([ nvidia-smi, --query-gputimestamp,power.draw,utilization.gpu,memory.used, --formatcsv,noheader,nounits ]).decode().strip() w.writerow([x.strip() for x in out.split(,)]) f.flush() time.sleep(1)跑一天下来这个 CSV 就是你算能量积分的一手数据。把它和同一时段的墙插记录对齐时间戳两边的差值就是“其他部件加电源损耗”这个差值在稳定负载下基本恒定以后换任务就不用重复测了。2.3 采样窗口别拿峰值当平均值也别拿平均值骗自己测量的时间窗口决定了你算出来的账有没有意义。我见过两种典型的错误一种是开机跑了十分钟推理看到功率计跳到 700W直接乘 24 小时得出一天 16.8 度这是把峰值当均值另一种是挂着模型不干活测出 65W然后说“这卡不费电”这是把空转当常态。正确的做法是覆盖一个完整的工作周期。如果你跑的是常驻推理服务至少要测 24 小时把白天的高峰、夜间的低谷、模型加载卸载的瞬间全包进去。如果是跑批处理任务就测一个完整批次的起止包含模型加载、预热、推理、结果落盘的全流程。算总能量用分段积分公式很朴素把每个时间片的功率乘以该时间片的时长全部加起来再除以 1000 换成度。E度 Σ(P_i × t_i) / 1000其中 P 单位是瓦t 单位是小时。举个例子一天里 8 小时墙插 750W10 小时墙插 640W6 小时墙插 65W那么 E 750×8 640×10 65×6/1000 6000 6400 390/1000 12.79 度。这个算法看起来笨但它能容纳任何波动的负载比拍脑袋取平均靠谱得多。3. 把账算出来一天、一月、一年各是多少3.1 极端上限24 小时满载不间断先算最坏情况把上限摸清楚心里才有底。假设这张卡 24 小时贴着功耗墙跑训练整机墙插稳定在 750W。一天的能量是 0.75 kW × 24 h 18 度电。按居民电价 0.55 元一度算一天 9.9 元一个月 30 天是 540 度、297 元一年 365 天是 6570 度、3613 元。这个数字什么概念一台普通一级能效空调在夏天高强度使用一个月电费大概一两百也就是说 7×24 满载跑训练电费相当于多开了一两台空调常年不停。电价不一样账差得很远。下面这张表按 18 度每天算你可以对号入座电价档位元/度每天每月30 天每年365 天适用情形0.305.4 元162 元1971 元谷电时段为主0.559.9 元297 元3613 元多数地区居民一档0.8014.4 元432 元5256 元居民三档或商业用电1.2021.6 元648 元7884 元商业峰段、写字楼注意居民阶梯电价这个坑。很多地方第一档两百多度第二档加价五分,第三档加价三毛。你一个月跑出 540 度等于直接冲到第三档实际均价会比标称的第一档电价高出不少。按第三档算一年电费可能比按一档算多出一千多块。这个差价足够买一块不错的中端显卡了所以算长期成本时必须用阶梯后的综合电价不能拿宣传页上的第一档价格糊弄自己。3.2 真实场景大部分人的机器根本跑不满 24 小时上面那个 18 度是天花板实际使用中很少有人真的 24 小时满载。更常见的组合是白天干活晚上待机或者只在有请求的时候才推理。场景一白天训练八小时晚上待机。8 小时按 750W 算 6 度16 小时待机按 65W 算 1.04 度合计 7.04 度一天 3.87 元一个月 116 元。这个量级就比较容易接受了相当于每天一杯饮料的钱。场景二常驻推理服务白天有请求十小时夜间基本空转。10 小时按 640W 均值算 6.4 度14 小时按 65W 算 0.91 度合计 7.31 度一天 4.02 元一个月约 121 元。场景三纯待机挂着模型偶尔跑一下。24 小时 65W1.56 度一天八毛六。这种情况其实最值得优化因为大部分人挂了模型一周也用不了几次纯属白烧电。场景四断续使用每天真正满负荷两小时。2 小时训练 1.5 度2 小时推理 1.28 度剩下 20 小时待机 1.3 度合计约 4.08 度一天 2.24 元。这是个人开发者最典型的用法。把这几个场景摆在一起你会发现一个规律待机的“底噪”成本占了相当大的比例。待机 65W 乘以 24 小时是 1.56 度如果一个月有二十天你的机器只是挂着没干活光待机就烧掉 31 度、17 块钱。听起来不多但配合前面说的阶梯电价加上它会把你往高档位推实际影响被放大了。3.3 换个视角每百万 token 的电费是多少按天算电费对个人来说够用但如果你是团队在做成本核算或者想跟外部接口价格做对比按 token 算更直观。算法的核心是能耗强度也就是每处理一个 token 消耗多少焦耳。拿一个中等规模的模型做推理整机 640W实测吞吐 2000 token 每秒这个数字随模型大小、量化方式、批大小变化很大必须自己测那么每个 token 的能耗是 640 除以 2000等于 0.32 焦耳。一百万 token 就是 3.2×10^5 焦耳换算成度要除以 3.6×10^6得到约 0.089 度电。按 0.55 元一度算每百万 token 的纯电费大概是五分钱。如果吞吐只有 500 token 每秒同样功率下每 token 能耗变成 1.28 焦耳百万 token 需要 0.356 度电费约两毛。差了四倍全在吞吐上。所以对推理服务来说优化吞吐就是优化电费这两件事是一回事。拿这个数字去跟外部接口价格对比你会得出一个有意思的结论电费本身在总成本里占比其实很低真正的大头是硬件折旧和运维。一张卡一万多块按三年折旧算每天十几块比电费高。这个认知很重要它决定了你优化的优先级——如果目标只是省钱提高利用率比压低功耗更划算但如果利用率已经打满那就只能从功耗和调度上下功夫了。4. 怎么把电费压下去从硬件设置到任务调度4.1 功耗墙最立竿见影的一刀功耗墙是限制板卡最大功耗的最直接手段改一个数值就生效不需要重启。命令行长这样sudo nvidia-smi -pl 460这条命令把板卡功耗上限从 575W 压到 460W单位是瓦。执行完用nvidia-smi -q -d POWER确认生效。注意这个设置重启后会保留想恢复就跑-pl 575想查当前的上限和默认值输出里都有。为什么压功耗墙能省电还不太掉性能因为显卡出厂时的频率电压曲线是偏向“跑分”的为了在短时测试里拿到好看的数字厂商会把电压点设得偏高。而芯片的功耗和电压大致是平方关系电压降一点功耗降一大截。把功耗墙往下压芯片会自动寻找能效更高的频率电压组合所以损失的性能比例小于损失的功耗比例。下面是常见几个档位的经验推算卡本身功耗加 100W 其他部件除以 0.9 的电源效率得到墙插功率按 24 小时和 0.55 元一度算功耗墙设置整机墙插估计24 小时耗电每天电费相对性能经验值575W默认750W18 度9.9 元100%500W667W16.0 度8.8 元约 96%460W622W14.9 度8.2 元约 92%400W556W13.3 度7.3 元约 85%350W500W12.0 度6.6 元约 78%表里的性能百分比是经验估计不同模型、不同驱动版本结果会变一定要自己实测。但趋势是稳的压到八成功耗性能损失个位数百分比这是性价比最高的一档。再往下压边际收益递减每省 1% 的电要多付出 2% 到 3% 的性能。这里有个非常关键的认知必须说清楚压功耗墙省不省电取决于你关心的是“单位时间电费”还是“单位任务电费”。如果你跑的是 7×24 常驻服务时间是固定的功率降下来电费直接省这是实打实的。但如果你跑的是一个固定量的训练任务降功耗意味着跑得更久总能量消耗可能只降一点点甚至不降——因为芯片在低频下能效是提升的但提升幅度有限而时间拉长了。实际测下来固定任务量下压到八成功耗总能量大概能省 5% 到 10%不是 20%。这个区别不搞清楚很容易得出错误结论。4.2 锁频降压更精细的做法功耗墙是“限流”锁频是“限速”两者可以配合用。锁核心频率的命令是sudo nvidia-smi -lgc 2400,2400这条把核心频率锁在 2400 兆赫兹范围写成同一个值就是锁定。恢复用sudo nvidia-smi -rgc。锁定频率之后芯片为了维持频率会自动调整电压通常比默认的自动睿频更省电因为自动睿频会在负载波动时频繁拉高电压那些高频尖峰对性能贡献很小对功耗贡献很大。进阶玩法是配合电压曲线做降压那需要第三方工具图形界面操作鼠标拖动曲线上的点让同一频率对应更低的电压。这个过程有门槛也有风险——电压压太低会算错结果或者驱动崩而且错误可能是静默的。我的建议是分批验证先压 30 毫伏跑一轮用固定输入跑两遍比对输出是否完全一致一致再继续压。做训练的尤其要小心一个静默的数值错误可能让你白跑一天。实际经验是这一套操作下来能比默认状态省 8% 到 15% 的功耗性能基本不掉代价是两三个小时的调参时间。值不值看你机器跑多久长期常驻的话很值。4.3 任务侧优化让每一次计算都更值硬件设置调到极限之后剩下的空间在任务本身。量化的收益最大。把模型从 16 位浮点降到 8 位整数或者 4 位显存带宽压力大幅下降推理速度提升单 token 能耗跟着降。这里的逻辑是解码阶段是内存带宽瓶颈计算单元大部分时间在等数据功耗并不低但产出很低。量化之后数据量减少同样时间能吐更多 token单位产出的能耗就下来了。实测从 16 位到 8 位吞吐翻倍很常见能耗强度能降三四成。批大小要找到拐点。小批量时计算单元利用率低功耗不高但吞吐更低能耗强度很差。批量增大吞吐线性上升功耗上升得慢能耗强度快速改善。但到某个点之后显存或者缓存成了瓶颈吞吐不再涨功耗还在涨曲线就拐了。这个拐点必须自己扫从 1 扫到 64每档测吞吐和功率画出来的曲线通常有个很明显的平台起点。空转卸载是最容易被忽略的一项。很多人把模型挂在显存里就不管了一挂好几天。如果请求是稀疏的完全可以在空闲几分钟后把模型从显存卸载回内存或者磁盘把卡切到低功耗状态有请求再加载。加载要花几十秒但如果你的使用间隔是几小时这几十秒换来的几十瓦持续节省非常划算。前面算过待机底噪一个月能烧掉三十几度这项优化几乎是白捡的。4.4 环境侧的隐性成本散热和空调这一项在个人用户里几乎没人算但在实际机房和小工作室里是真实存在的大头。显卡消耗的电能最终全部变成热量散到房间里。750W 的整机等于一台 750W 的取暖器在持续工作。夏天的时候房间温度会明显上升如果是密闭的小房间一小时就能热得待不住空调必须开。空调制冷的能效比普通的在 2.5 到 3.5 之间取中间值 3 来算排掉 750W 的热量需要消耗 750 除以 3大约 250W 的电。加上这部分你的实际总能耗变成了 750 加 250 等于 1000W比你算的整机功耗高了 33%。这意味着前面所有的电费账如果是夏天开着空调跑都要乘一个 1.2 到 1.35 的系数。24 小时满载的场景实际日耗电不是 18 度而是 24 度一天十几块钱。冬天则相反北方有供暖就不算了南方的话这部分热量相当于省了取暖费可以算作正收益。所以有条件的话把机器放在通风好、体积大一点的房间或者直接放到阳台、储藏间这类不需要空调的空间靠自然通风散热这一项成本能省掉一大半。前提是环境温度可控灰尘不能太大后面讲长期运行的注意事项会提到。5. 踩过的坑与常见问题速查5.1 电源选型和那些被浪费的电电源这一块最容易出问题而且问题往往不是“带不动”是“带了但浪费”。先说效率曲线。金牌电源在 50% 到 70% 负载区间效率最高大概 90% 到 92%负载掉到 20% 以下效率会快速跌到 80% 以下掉到 10% 以下可能只有 70%。这就解释了一个很多人困惑的现象明明部件加起来才 45W为什么功率计显示 65W因为电源在这个工作点上效率只有七成多出来的 20W 全变成电源自己的热了。这就引出一个选型上的取舍。如果按满载算750W 的系统配 1000W 电源负载率 75%效率九成挺好。但你的机器大部分时间在待机待机时负载率只有 6%效率很难看。配 850W 电源满载负载率 88%效率略降一点点待机负载率 7.6%稍好。这个差异实际算下来一年也就几十块钱不用纠结太久重点是把功率档次选对别配个 1600W 的大电源带 750W 的系统待机损耗会很难看。再说瞬时峰值。前面提过卡在负载切换的毫秒级窗口里电流能冲到标称的一倍多功率计抓不到但电源的过流保护电路抓得到。表现就是跑得好好的突然黑屏重启或者直接保护关机。判断方法是换一个大功率电源试如果问题消失就是峰值触发保护。这种情况不能靠“额定功率够”来安慰自己得看电源的瞬态响应能力和保护阈值设置选的时候宁可多留 200W 余量。最后是线材。大功率卡用的是新规格供电接口插头必须完全插到位有轻微的斜插或者没插到底接触电阻变大就会局部发热长期下去是安全隐患。装完机器用手摸一下接口附近跑满载十分钟后如果明显烫手断电重插。这个动作花不了一分钟但很多人装机时嫌麻烦跳过了。5.2 数据对不上问题通常出在哪现象最可能的原因处理办法功率计比软件读数高 200W 以上正常差值是其他部件加电源损耗用固定差值的思路理解不必修正读数剧烈跳动从 200W 跳到 700W推理负载本身的锯齿特性改用能量积分别用瞬时值乘时间开机瞬间跳闸或关机电源瞬态峰值触发保护换大功率电源或启用软启动实际电费比算的多一倍阶梯电价跳到高档、空调、其他电器用电表核对分项用综合电价重算功率计外壳发烫劣质产品内阻大自身在耗电换一个读数也会更准同样设置下功耗比以前高环境温度上升导致风扇转速提高查进风口和灰尘清灰后复测关于“电费比算的多”这一条我自己的经验是要做一次全屋分项。把家里其他大功率设备都关掉只留机器跑一小时看总电表走了多少和功率计的读数对比。如果差得不多说明你的账是对的多出来的钱在别处如果差很多说明有别的负载在偷电最常见的是老冰箱和热水器跟显卡没关系。5.3 长期运行的几个实操心得第一别只看功率看温度。同样的功耗设置夏天机箱进风温度高十度风扇转速就得拉高风扇功耗虽然只有几十瓦但噪音和积灰速度都会上去。7×24 运行的机器建议每三个月清一次灰尤其是显卡散热鳍片积灰之后风阻增大为了压住温度风扇会一直高转这一项能多耗一二十瓦。第二用功率数据反过来查任务健康度。这是个很实用的技巧正常推理时功率曲线是稳定的锯齿如果某天你发现功率长时间贴着低位不动八成是服务挂了或者卡在处理异常请求如果长时间贴着顶不动可能是某个请求的输入特别长或者死循环了。把功率监控接上告警比看日志直观。第三电费是可以错峰的。如果你所在地区有峰谷电价谷段电价可能只有峰段的三分之一到一半。批处理类的训练任务完全可以放到夜里跑同样 18 度电峰段十几块谷段五六块一年下来差好几千。这个操作零成本只是改个定时任务的事性价比比任何硬件调优都高。第四别忘了待机的那部分。我自己的机器跑了一年多回头翻数据发现真正干活的时间只占三成多剩下全是挂着。后来加了个闲置自动卸载的策略待机功率从 65W 掉到 20W 出头一年省下的钱不多两三百块但这是纯白捡的改几行脚本的事。第五所有的降耗手段都要做 A/B 验证。功耗墙压下去之后性能到底掉多少网上看来的数字只能参考。正确的做法是固定一批输入跑三次取平均记录耗时和总电量两个设置各跑一轮算出来的“每任务电费”才是你该信的。我见过太多人照抄别人的参数结果自己的模型架构不一样压完功耗性能掉了两成还以为赚了。最后分享一个我一直在用的记账习惯在机器上跑一个每日汇总脚本把当天的累计电量、等效满载时长、平均功率三个数记到表格里月底导出来看趋势。不为了精确到小数点就为了心里有个数——当你看到某个月电量突然翻倍而任务量没变的时候那就是该去查查有没有什么东西在偷电了。这个习惯帮我抓到过一次风扇卡死导致持续高温、一次服务挂了空转两天、还有一次是别人远程登上来跑了个测试没关。这些事都不大但一次就是几十块钱和几天的算力。