自建大模型推理服务如何优化算力成本与资源效率？—— 基于智能路由、PD 分离、缓存、弹性调度的云上基建选型与 TaoToken 统一接入实践

1. 自建推理服务为什么越跑越贵从显存碎片到算力空转自建大模型推理服务这件事很多团队一开始的算盘都打得挺响买几张卡、拉个推理框架、挂个负载均衡觉得就能把单位 Token 成本压下来。真跑起来才发现GPU 利用率长期在 30% 上下晃高峰期排队、低峰期空转月底一算账每百万 Token 的基础设施成本比托管方案还高。问题不在硬件不够而在调度、缓存、资源编排这几层没做对。我先把常见的浪费点摊开说你可以对照自己的集群看看中了几条。第一类是 KV Cache 碎片长上下文请求进来显存被切得七零八落明明还有空间却分配不出连续块只能排队等释放。第二类是 Prefill 和 Decode 混部Prefill 是算力密集型Decode 是显存带宽密集型两种任务抢同一批卡谁也跑不满。第三类是 Batch 粒度失控Batch 小了 GPU 吃不饱Batch 大了首 Token 延迟飙升用户体验直接崩。第四类是长短请求混跑一个 32K 的长文档解析和一句短问答挤在同一个队列里短请求被长请求拖死。第五类是流量峰谷错配白天高峰卡不够凌晨低谷卡全闲。这五类问题背后其实是同一个逻辑算力优化不是靠堆卡而是靠让每一份算力都匹配到真正需要它的请求上。围绕这个逻辑业界现在比较成熟的四条主线是智能路由、PD 分离、分级缓存、弹性调度。下面我会把每条主线的配置骨架给出来并且用 TaoToken 作为统一接入通道把 Key 管理、模型调用、验证请求这条链路串起来这样你在本地或云上调试时不用为每个后端单独维护一套鉴权。2. TaoToken 前置准备统一 Key 与 API 通道在动手改推理集群配置之前先把接入层的事情理清楚。自建推理服务通常会有多个后端可能是 vLLM、SGLang、TensorRT-LLM 混着跑也可能是不同规格的 GPU 节点分组。如果每个后端都单独配一套 Key 和鉴权运维成本会很高而且做灰度、做 A/B 测试时切换很麻烦。TaoToken 在这里的角色是统一入口你通过一个 Key 和一个 API 地址就能把请求分发到不同的模型或后端同时它本身也提供模型对话、Coding Plan、控制台、API Keys 管理这些能力。对于自建推理场景我建议把它当成接入网关 验证通道来用——集群内部的调度逻辑你自己控制但对外的调用入口和 Key 管理交给它统一处理。具体操作上先去控制台创建一个 API Key。地址是 https://taotoken.net/console 登录后在 API Keys 页面生成。生成后你会拿到一串以特定前缀开头的密钥这个就是后面所有请求要带的凭证。注意不要把 Key 硬编码进代码仓库用环境变量或者配置中心注入。API 的基础地址是 https://taotoken.net/api 这个地址不带任何查询参数直接作为 base_url 使用。如果你用的是 OpenAI 兼容的 SDK把 base_url 指向它、api_key 填上刚才生成的 Key就能直接调通。模型对话的入口在 https://taotoken.net/model-conversation 适合你在正式接入集群前先手动验证一下模型是否可用、响应是否正常。这里有个细节自建推理集群的调度策略和 TaoToken 的接入层是解耦的。也就是说你可以在集群内部用智能路由把请求分到不同 GPU 组而对外统一走 TaoToken 的 Key。这样既保留了自建集群的灵活性又避免了多套鉴权体系带来的混乱。如果你后面要做长期编码或 Agent 类任务可以关注 Coding Plan 页面 https://taotoken.net/coding-plan 它针对这类持续调用的场景有专门的配置方式。3. 可复制配置config.toml 与 settings.json 骨架这一节是核心我把四条主线的配置骨架拆成两个文件config.toml管推理集群和调度settings.json管接入层和缓存策略。你可以直接复制过去改参数。先看config.toml。这个文件主要定义路由规则、PD 分组、缓存层级和弹性策略# config.toml - 自建推理集群调度配置骨架 [gateway] # 智能路由按请求特征分发 enable_smart_routing true # 感知维度开关 observe_context_length true observe_prefix_cache true observe_model_version true observe_cluster_load true # 路由策略优先匹配缓存就绪节点 routing_policy cache_aware [gateway.rules] # 短问答走低延迟集群 [[gateway.rules.match]] max_input_tokens 2048 target_pool low_latency priority 10 # 长文本/代码生成走高吞吐集群 [[gateway.rules.match]] min_input_tokens 2049 target_pool high_throughput priority 20 # 带重复前缀的请求定向到缓存节点 [[gateway.rules.match]] prefix_cache_hit true target_pool cache_ready priority 5 [pd_separation] # PD 分离Prefill 和 Decode 独立分组 enable true prefill_pool prefill_cluster decode_pool decode_cluster # 2P2D 起步按实测调整 prefill_replicas 2 decode_replicas 2 # 网关协调请求状态 coordinator gateway [cache] # 分级 KV Cache enable true # 实例内缓存 local_cache_size_gb 40 # 分布式缓存池 distributed_cache_enabled true distributed_cache_endpoint redis://cache-pool:6379 # 热温冷分级 tiering [hot, warm, cold] hot_ttl_seconds 300 warm_ttl_seconds 3600 cold_ttl_seconds 86400 # 缓存感知路由 cache_aware_routing true [elastic] # 弹性调度 enable true # 基础资源池稳定流量 base_pool_min_replicas 2 base_pool_max_replicas 4 # 弹性资源池突发流量 burst_pool_min_replicas 0 burst_pool_max_replicas 8 # 扩缩容触发指标 scale_out_threshold_gpu_util 0.75 scale_in_threshold_gpu_util 0.30 # 冷却时间避免抖动 cooldown_seconds 120 [observability] # Token 维度考核 enable true metrics [ tokens_per_gpu_per_second, cost_per_million_tokens, ttft_ms, tpot_ms, p95_latency_ms, p99_latency_ms, gpu_utilization, kv_cache_hit_rate, queue_depth, retry_rate ]再看settings.json这个管接入层和 TaoToken 通道{ api_base: https://taotoken.net/api, api_key_env: TAOTOKEN_API_KEY, default_model: your-model-name, timeout_seconds: 60, max_retries: 3, retry_backoff: 0.5, routing: { enable: true, fallback_pool: base_pool, health_check_interval: 10 }, cache: { enable_prefix_cache: true, prefix_cache_max_entries: 10000, cache_key_fields: [model, system_prompt_hash, prefix_hash] }, elastic: { enable: true, metrics_endpoint: http://localhost:9090/metrics, poll_interval_seconds: 15 }, observability: { log_level: info, export_metrics: true, metrics_port: 9091 } }这两个文件的分工要清楚config.toml是集群侧决定请求怎么分、PD 怎么拆、缓存怎么存、弹性怎么扩settings.json是接入侧决定用哪个 Key、走哪个 API 地址、重试和缓存键怎么定。实际部署时config.toml放在推理网关节点settings.json放在调用方或 SDK 侧。关于 PD 分离的副本数2P2D 是个保守起点。如果你的场景输入特别长比如代码仓库级上下文Prefill 压力会更大可以调成 3P2D 或 4P2D如果输出特别长比如长文生成Decode 压力大就反过来加 D。这个没有万能公式必须按你自己的输入输出分布实测。缓存这块有个容易踩的坑cache_key_fields里的prefix_hash要基于实际前缀内容算不能只用请求 ID。否则缓存命中率会虚高实际复用的计算量很少。建议用 system prompt 的哈希加上前 N 个 token 的哈希组合成 key。4. 验证请求与成功结果配置写完之后先别急着上生产流量。用一条最小请求把链路走通确认 Key、API 地址、模型名、路由规则都对。第一步设置环境变量export TAOTOKEN_API_KEY你的Key export TAOTOKEN_API_BASEhttps://taotoken.net/api第二步用 curl 发一条测试请求。这里用 OpenAI 兼容格式curl -s -X POST $TAOTOKEN_API_BASE/v1/chat/completions \ -H Authorization: Bearer $TAOTOKEN_API_KEY \ -H Content-Type: application/json \ -d { model: your-model-name, messages: [ {role: system, content: You are a helpful assistant.}, {role: user, content: 用一句话解释什么是 KV Cache。} ], max_tokens: 128, temperature: 0.7 }如果返回结构里有choices[0].message.content并且内容是正常的中文回答说明接入层通了。如果返回 401检查 Key 是否正确、是否带了Bearer前缀如果返回 404检查 base_url 是不是写成了带/v1的完整路径正确做法是 base_url 只到/apiSDK 会自动拼/v1/chat/completions。第三步验证路由和缓存是否生效。连续发两次相同前缀的请求观察第二次的 TTFT首 Token 延迟是否明显下降。如果配置了cache_aware_routing第二次请求应该被路由到已有缓存的节点TTFT 通常能降 30% 到 60%。你可以用这个命令看延迟for i in 1 2; do curl -s -o /dev/null -w request $i: %{time_starttransfer}s\n \ -X POST $TAOTOKEN_API_BASE/v1/chat/completions \ -H Authorization: Bearer $TAOTOKEN_API_KEY \ -H Content-Type: application/json \ -d { model: your-model-name, messages: [ {role: system, content: You are a helpful assistant.}, {role: user, content: 重复前缀测试请解释 PD 分离。} ], max_tokens: 64 } done第四步验证 PD 分离。这个需要看集群侧的指标重点看 Prefill 集群和 Decode 集群的 GPU 利用率是否各自独立变化。如果两者利用率曲线高度同步说明 PD 分离没生效请求还是混着走的。检查config.toml里pd_separation.enable是否为 true以及网关是否真的把 Prefill 和 Decode 请求分到了不同 pool。第五步验证弹性调度。手动压一批并发请求观察burst_pool的副本数是否从 0 涨上去停掉压力后等冷却时间看是否缩回 0。如果副本数不动检查metrics_endpoint是否可达、scale_out_threshold_gpu_util是否设得太高。成功的结果应该是这样单条请求正常返回重复前缀请求 TTFT 下降PD 两组 GPU 利用率独立波动压测时弹性池自动扩容、停止后自动缩容observability里能查到tokens_per_gpu_per_second和cost_per_million_tokens这两个关键指标。5. 本篇常见错排查配置跑不通的时候大部分问题集中在几个固定位置。我按出现频率排一下。Key 无效或 401最常见的是环境变量没生效。settings.json里写的是api_key_env意思是运行时从环境变量读不是直接把 Key 写进文件。如果你在容器里跑确认环境变量传进去了。另外 TaoToken 的 Key 有前缀区分别把控制台登录密码当成 API Key 用。base_url 拼错导致 404https://taotoken.net/api是基础地址SDK 会自动补/v1/chat/completions。如果你手动拼成了https://taotoken.net/api/v1再让 SDK 补一次就变成/api/v1/v1/...直接 404。记住 base_url 只到/api。缓存命中率虚高但 TTFT 没降检查cache_key_fields。如果 key 里包含了请求时间戳或随机 ID每次 key 都不一样缓存永远不命中。key 必须只包含稳定字段模型名、system prompt 哈希、前缀内容哈希。PD 分离后吞吐反而下降可能是 Prefill 和 Decode 的副本比例不对。如果 Prefill 副本太少长输入请求会在 Prefill 队列里堆积Decode 集群反而闲着。先用 2P2D 跑看两组队列深度哪边堆积就加哪边。另外确认网关的coordinator配置正确Prefill 完成后要把 KV 状态传给 Decode这个传递如果走网络会有开销同节点部署能省不少。弹性扩容不触发先确认metrics_endpoint能返回数据。如果指标端口没开调度器拿不到 GPU 利用率自然不会扩。另外cooldown_seconds设太大会导致扩容滞后设太小会频繁抖动120 秒是个折中值。压测时如果并发上不去也可能是burst_pool_max_replicas设得太小或者底层资源池没有可用的 GPU 配额。单位 Token 成本算不准cost_per_million_tokens需要把 GPU 小时成本、网络成本、存储成本都摊进去。如果只算 GPU 采购价会低估实际成本。建议在observability里把tokens_per_gpu_per_second和实际账单周期对齐用真实账单反推单位成本而不是用理论峰值算。长上下文请求 OOM这是 KV Cache 碎片导致的。检查local_cache_size_gb是否够用以及是否开启了distributed_cache。如果单节点显存不够把长上下文请求路由到专门的大显存节点或者用分级缓存把冷数据换出去。另外max_input_tokens的路由规则要设对别让超长请求进了小显存池。6. 接入通道与后续验证入口把集群侧的调度配好之后接入侧的统一管理建议固定下来。TaoToken 的 API Keys 管理页面在 https://taotoken.net/api-keys 你可以在这里轮换 Key、查看调用量、按项目拆分权限。对于自建推理集群我建议至少分两个 Key一个给生产流量一个给调试和压测避免压测流量污染生产指标。接入文档在 https://taotoken.net/doc 里面有完整的请求格式、错误码说明和 SDK 示例。如果你在配置settings.json时不确定某个字段的含义先查文档再改比反复试错快。模型对话入口 https://taotoken.net/model-conversation 适合在正式接入前做单条验证。比如你新部署了一个模型版本先用这个页面手动发几条请求确认模型本身没问题再去调集群配置。这样能把模型问题和调度问题分开排查。如果你后面要做长期编码任务或 Agent 类持续调用Coding Plan 页面 https://taotoken.net/coding-plan 有对应的配置方式。这类场景的特点是请求密集、前缀重复率高正好是缓存和智能路由最能发挥价值的地方。把cache_aware_routing和prefix_cache开满单位 Token 成本能压下来不少。最后说一个实测经验自建推理集群的优化不是一次性的而是持续调参的过程。config.toml里的阈值、副本数、缓存 TTL 这些参数会随着你的业务流量分布变化而需要重新校准。建议每周看一次observability里的核心指标重点盯kv_cache_hit_rate和tokens_per_gpu_per_second这两个数。前者掉了说明缓存策略要调后者掉了说明调度或 PD 比例要调。把这两个指标稳住单位算力成本自然就下来了。