LLM 推理的核心指标：TTFT、TPOT 与 Latency 的配置验证

1. 为什么我盯着 TTFT、TPOT、Latency 这三个数不放如果你正在做 LLM 应用尤其是流式对话、代码补全、Agent 这类场景用户对“快不快”的感知其实只来自三个数字TTFT、TPOT、Latency。TTFTTime To First Token是首 Token 延迟从你发出请求到模型吐出第一个 token 的时间TPOTTime Per Output Token是每个输出 token 的平均间隔不含首 tokenLatency 则是从输入到最后一个 token 的总耗时公式很直白Latency TTFT TPOT × 生成 token 数。这三个指标决定了在线流式应用的用户体验而 Throughput吞吐量决定的是你单位时间内能服务多少并发请求属于成本侧。问题在于很多人配好了 API Key、跑通了 Cline却从来没有真正量过这三个数。模型换了一个又一个体感“好像快了”但到底快在哪、慢在哪说不清楚。更麻烦的是不同供应商、不同模型、不同并发下的 TTFT 和 TPOT 差异可能非常大没有可复现的采集流程优化就是盲人摸象。这篇就聚焦一件事用 TaoToken 的统一 Key/API 通道在 Cline 的 settings.json 里搭好配置骨架然后给出可复制的指标采集与验证动作让你能自己跑出一份 TTFT、TPOT、Latency 的观测数据。适合已经在用 Cline 做编码或 Agent、想建立推理性能观测流程的读者。下面所有命令和配置都可以直接抄。2. TaoToken 前置统一 Key 与 API 通道准备TaoToken 在这里扮演的角色是统一入口你不需要为每个模型单独维护一套 Key 和 Base URL而是通过一个 API 通道去调用不同模型。这对性能观测特别有用因为变量被收敛了——同一套网络路径、同一套鉴权方式你测出来的 TTFT/TPOT 差异更多来自模型本身和参数而不是通道切换带来的噪声。你需要先拿到一个可用的 API Key。登录官网后进入控制台在 API Keys 页面创建一个新 Key。地址如下官网入口https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content控制台 / API Keyshttps://taotoken.net/console/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentapi-keysutm_campaignrewrite接入文档https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewriteAPI 的基础地址是https://taotoken.net/api注意这个地址不带 UTM 参数直接用于代码里的base_url。创建 Key 的时候建议起一个能区分用途的名字比如cline-perf-test这样后面做指标对比时不会搞混。Key 只在创建时完整显示一次复制后先存到本地环境变量里别直接写进会提交到 git 的文件。注意性能观测阶段建议单独用一个 Key避免和日常生产 Key 混用方便你按 Key 维度看调用量和延迟。3. 可复制配置Cline settings.json 配置骨架Cline 的模型配置集中在settings.json里。不同版本的 Cline 字段名可能略有差异但核心结构一致一个 provider 块包含baseUrl、apiKey、model等。下面这份骨架以 OpenAI 兼容格式为例你可以直接改 model 字段来切换被测模型。先找到 Cline 的配置文件位置。VS Code 下通常在用户目录的扩展全局存储里稳妥的方式是通过 Cline 面板的 Settings 打开配置文件或者用命令面板搜索 “Cline: Open Settings”。找到后按下面结构写入{ cline.apiProvider: openai, cline.openAiBaseUrl: https://taotoken.net/api, cline.openAiApiKey: sk-你的TaoTokenKey, cline.openAiModelId: claude-3-5-sonnet-20241022, cline.openAiModelInfo: { maxTokens: 8192, contextWindow: 200000, supportsImages: true, supportsPromptCache: false }, cline.requestTimeoutMs: 120000 }几个关键点说明。openAiBaseUrl填https://taotoken.net/api不要带结尾斜杠也不要带 UTM 参数UTM 只用于网页跳转统计写进 API 地址会导致请求异常。openAiApiKey建议不要硬编码而是引用环境变量很多 Cline 版本支持${env:TAOTOKEN_API_KEY}这种写法{ cline.openAiApiKey: ${env:TAOTOKEN_API_KEY} }然后在 shell 里导出export TAOTOKEN_API_KEYsk-你的TaoTokenKey如果你要对比多个模型最省事的做法是准备多份配置片段切换时只改openAiModelId。比如测 Claude 系列用claude-3-5-sonnet-20241022测其他模型换成对应 ID。每次切换后重启 Cline 或重新加载窗口确保配置生效。requestTimeoutMs建议给足性能观测时如果超时太短长输出请求会被截断Latency 数据就不完整了。maxTokens和contextWindow按模型实际能力填填错会导致请求被拒或输出被截。4. 验证请求与指标采集跑出你的 TTFT、TPOT、Latency配置好之后先做一次最小验证请求确认通道是通的。用 curl 直接打 TaoToken 的 API这样能把 Cline 这一层排除掉单独看通道和模型的表现curl -s -N https://taotoken.net/api/v1/chat/completions \ -H Authorization: Bearer $TAOTOKEN_API_KEY \ -H Content-Type: application/json \ -d { model: claude-3-5-sonnet-20241022, stream: true, messages: [{role: user, content: 用一句话解释什么是 TTFT}] }-N关闭缓冲stream: true打开流式这样你才能观察到首 token 到达的时间点。如果返回的是一串data:开头的 SSE 事件说明通道正常。接下来是核心写一个采集脚本把 TTFT、TPOT、Latency 算出来。下面这个 Python 脚本可以直接用它记录请求发出时间、首个 token 到达时间、最后一个 token 到达时间然后输出三个指标import time import json import requests API_URL https://taotoken.net/api/v1/chat/completions API_KEY sk-你的TaoTokenKey MODEL claude-3-5-sonnet-20241022 def measure(prompt, modelMODEL): headers { Authorization: fBearer {API_KEY}, Content-Type: application/json, } payload { model: model, stream: True, messages: [{role: user, content: prompt}], } start time.perf_counter() first_token_time None token_count 0 last_token_time None with requests.post(API_URL, headersheaders, jsonpayload, streamTrue) as resp: resp.raise_for_status() for line in resp.iter_lines(): if not line: continue line line.decode(utf-8) if not line.startswith(data:): continue data line[5:].strip() if data [DONE]: break try: chunk json.loads(data) except json.JSONDecodeError: continue delta chunk.get(choices, [{}])[0].get(delta, {}) content delta.get(content) if content: now time.perf_counter() if first_token_time is None: first_token_time now token_count 1 last_token_time now if first_token_time is None: print(没有收到任何 token检查配置或网络) return None ttft first_token_time - start total last_token_time - start tpot (last_token_time - first_token_time) / max(token_count - 1, 1) latency total tps token_count / latency if latency 0 else 0 result { ttft_ms: round(ttft * 1000, 2), tpot_ms: round(tpot * 1000, 2), latency_ms: round(latency * 1000, 2), tokens: token_count, tps: round(tps, 2), } print(json.dumps(result, ensure_asciiFalse)) return result if __name__ __main__: measure(写一段 200 字左右的文字介绍 LLM 推理性能指标)跑几次你会看到类似这样的输出{ttft_ms: 412.35, tpot_ms: 18.72, latency_ms: 4180.11, tokens: 202, tps: 48.32}这里 TTFT 约 412msTPOT 约 18.7ms总 Latency 约 4.18s生成 202 个 tokenTPS 约 48。注意 TPOT 的分母用了token_count - 1因为首 token 的时间已经算进 TTFT 了TPOT 衡量的是后续 token 的间隔。要得到有统计意义的数字单次不够。建议同一个 prompt 跑 20 次以上然后算 P50 和 P99。TTFT P99 尤其重要它代表最慢的那 1% 请求的等待时间直接决定用户会不会觉得“卡”。下面这段在采集结果上做分位数import statistics def percentile(data, p): data sorted(data) k (len(data) - 1) * p / 100 f int(k) c min(f 1, len(data) - 1) if f c: return data[f] return data[f] (data[c] - data[f]) * (k - f) ttfts [] for _ in range(20): r measure(写一段 200 字左右的文字介绍 LLM 推理性能指标) if r: ttfts.append(r[ttft_ms]) print(TTFT P50:, round(percentile(ttfts, 50), 2), ms) print(TTFT P99:, round(percentile(ttfts, 99), 2), ms)实测下来同一模型在稳定网络下 TTFT 的波动主要来自输入长度和并发TPOT 则更受输出长度和模型解码策略影响。你可以固定 prompt 长度只改输出长度观察 TPOT 是否稳定也可以固定输出改输入长度看 TTFT 怎么变。这样就能把两个指标的影响因素拆开。5. 本篇常见错排查配置和采集过程中最容易踩的坑集中在几处。第一类是 Base URL 写错比如写成https://taotoken.net/api/带尾斜杠或者把网页地址https://taotoken.net/?utm_source...直接填进baseUrl后者会返回 HTML 而不是 JSON。正确写法就是https://taotoken.net/api路径部分由 SDK 或请求自己拼/v1/chat/completions。第二类是流式没开。如果stream为 false你拿到的是一次性完整响应根本测不出 TTFT因为第一个 token 和最后一个 token 同时到达。采集脚本里必须stream: Truecurl 里必须-N。第三类是 Key 权限或额度问题。返回 401 通常是 Key 无效或没带Bearer前缀返回 403 可能是 Key 被禁用或额度耗尽。这时候去控制台确认 Key 状态和余额别在代码里反复试。第四类是 Cline 配置没生效。改了settings.json后 Cline 可能还在用旧配置需要重新加载窗口。如果 Cline 报模型不存在检查openAiModelId是否拼写正确以及该模型是否在你的 Key 可用范围内。第五类是指标计算错误。常见的是把 TPOT 算成了total / token_count这样会把 TTFT 混进去导致 TPOT 偏大。正确做法是先减掉首 token 时间再除以剩余 token 数。另外 token 计数如果按字符数估算误差会很大尽量用流式 chunk 里实际返回的 content 片段计数。提示如果 TTFT 异常高但 TPOT 正常优先查网络和首包路径如果 TPOT 异常高但 TTFT 正常优先查模型解码参数和输出长度。6. 把观测流程固定下来跑通一次不难难的是让它可复现。我的做法是把采集脚本和配置片段一起放进一个独立目录每次换模型只改一个常量跑完自动输出 P50/P99 和 TPS。这样你换模型、调参数、加并发时手里始终有一份可对比的数据而不是靠感觉。如果你主要做长期编码或 Agent 场景建议把这类性能观测和 Coding Plan 结合起来按周期跑一轮观察不同模型在真实任务下的 TTFT 和 TPOT 变化Coding Planhttps://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentcoding-planutm_campaignrewrite想快速对比模型对话表现可以直接在模型对话页面试模型对话https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_contentmodel-chatutm_campaignrewrite接入细节和参数说明以文档为准接入文档https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite最后留一个实用技巧采集时把 prompt 和输出长度都固定成常量只变一个变量否则 TTFT 和 TPOT 的波动你根本归因不到具体原因。我一般会准备三组固定 prompt——短输入短输出、短输入长输出、长输入短输出——分别对应不同的观测目的。这样跑出来的数据才真正能指导你选模型和调参数。