AI模型测评平台工程化实战十二讲（第四讲：TTFT性能分析与连接池优化：从73秒到325秒的性能退化问题深度解析）

1. 从73秒到325秒一次压测把评测平台打回原形TTFTTime To First Token首token时间是AI模型测评平台最核心的体验指标之一它衡量的是从请求发出到模型吐出第一个token之间的耗时。当这个数字从73秒一路劣化到325秒同时60秒超时设置形同虚设时说明系统里至少有三层技术债在同时发作。这篇内容适合正在做模型评测、批量推理压测、或者用aiohttp/httpx写异步客户端的同学我会把连接池耗尽、超时与重试机制叠加放大延迟这条主线拆开给出可复制的连接池与超时配置骨架以及复现退化和验证修复的压测动作清单。先说结论TTFT劣化不是模型变慢了而是客户端把排队时间、DNS解析时间、连接建立时间全部算进了首token时间里再加上limit_per_host1这种配置100个并发请求会串行排队第N个请求的等待时间约等于(N-1) × 平均处理时间。这就是为什么初始73秒还能忍跑到后面直接325秒。下面按排查顺序展开。2. TaoToken统一Key与API通道接入前置在动手改连接池之前先把请求出口统一掉。评测平台通常要对接多个模型供应商如果每个供应商一套Key、一套域名、一套超时策略排查性能问题时变量太多。我习惯用TaoToken做统一通道一个Key走所有模型压测时只需要盯一个出口的连接池状态。接入方式很简单官网入口是 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 注册后在控制台生成API Key。API基地址是 https://taotoken.net/api 注意这个地址不带UTM参数直接用于代码里的base_url。控制台里可以管理Key和额度https://taotoken.net/console?utm_sourcetaotoken_aicg_blog_endutm_contentconsoleutm_campaignrewrite 。如果你要批量生成多个Key做并发隔离在API Keys页面操作https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentapi-keysutm_campaignrewrite 。统一通道的好处是压测时所有请求打到同一个host连接池的limit_per_host才有意义如果分散到十几个域名每个域名一个连接池反而掩盖了瓶颈。接入文档在 https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite 里面有各语言SDK的base_url改法。3. 可复制的连接池与超时配置骨架3.1 问题配置长什么样原始代码里最致命的一行是connector aiohttp.TCPConnector(limit_per_host1, ttl_dns_cache30)limit_per_host1意味着同一时刻对同一host只能有1个连接。100个并发请求会排队第100个请求要等前面99个跑完。ttl_dns_cache30让DNS缓存只有30秒高频压测下反复解析域名每次解析增加几十到几百毫秒。更糟的是没有keepalive_timeout连接用完就关下次请求重新握手。3.2 优化后的连接池配置import aiohttp connector aiohttp.TCPConnector( limit_per_host50, # 单host并发连接 1 - 50 limit500, # 总连接池上限 ttl_dns_cache300, # DNS缓存 30s - 300s use_dns_cacheTrue, keepalive_timeout30, # 连接保活30秒 enable_cleanup_closedTrue, ) timeout aiohttp.ClientTimeout( total60, # 总超时60秒 connect10, # 连接建立超时 sock_read45, # 读超时 )参数对照表参数原值优化值作用limit_per_host150单host并发连接数limit未设500连接池总量上限ttl_dns_cache30300DNS缓存秒数keepalive_timeout未设30连接复用保活total未设60请求总超时3.3 settings.json / config.toml 示例把连接池参数外置方便压测时调参{ http: { limit_per_host: 50, limit: 500, ttl_dns_cache: 300, keepalive_timeout: 30, timeout_total: 60, timeout_connect: 10, timeout_sock_read: 45 }, retry: { max_attempts: 3, backoff_base: 2, backoff_max: 8 } }如果用TOML[http] limit_per_host 50 limit 500 ttl_dns_cache 300 keepalive_timeout 30 timeout_total 60 timeout_connect 10 timeout_sock_read 45 [retry] max_attempts 3 backoff_base 2 backoff_max 83.4 重试机制与超时叠加的坑超时设置失效的常见原因是外层total60但内层重试3次每次实际等了60秒总耗时180秒。更隐蔽的是如果total没设只有sock_read服务器在60秒后仍保持连接活跃客户端会一直等。正确的重试骨架import asyncio async def fetch_with_retry(session, url, headers, payload, cfg): last_err None for attempt in range(cfg[retry][max_attempts]): try: request_sent time.time() async with session.post(url, headersheaders, jsonpayload) as resp: if resp.status 200: ttft time.time() - request_sent return await resp.json(), ttft except asyncio.TimeoutError: last_err timeout if attempt cfg[retry][max_attempts] - 1: await asyncio.sleep(min(2 ** attempt, cfg[retry][backoff_max])) except Exception as e: last_err str(e) if attempt cfg[retry][max_attempts] - 1: await asyncio.sleep(1) raise RuntimeError(fall retries failed: {last_err})关键点total60要小于max_attempts × 单次超时否则重试还没跑完外层就断了。建议total60、max_attempts3、单次sock_read15这样最坏情况45秒留15秒余量。4. 验证请求与成功结果4.1 最小验证脚本改完配置后先用单请求验证通道通不通import asyncio, aiohttp, time, json async def main(): cfg json.load(open(settings.json)) connector aiohttp.TCPConnector( limit_per_hostcfg[http][limit_per_host], limitcfg[http][limit], ttl_dns_cachecfg[http][ttl_dns_cache], keepalive_timeoutcfg[http][keepalive_timeout], ) timeout aiohttp.ClientTimeout(totalcfg[http][timeout_total]) async with aiohttp.ClientSession(connectorconnector, timeouttimeout) as s: t0 time.time() async with s.post( https://taotoken.net/api/v1/chat/completions, headers{Authorization: Bearer YOUR_KEY}, json{model: gpt-4o-mini, messages: [{role: user, content: hi}]}, ) as resp: data await resp.json() print(TTFT:, round(time.time() - t0, 3), s) print(status:, resp.status) asyncio.run(main())成功时你会看到TTFT在合理区间取决于模型status 200返回体里有choices字段。如果TTFT仍然很大先确认是不是模型本身慢而不是连接池问题。4.2 压测复现退化用100并发跑10分钟观察TTFT趋势async def stress(session, n100): tasks [fetch_with_retry(session, url, headers, payload, cfg) for _ in range(n)] results await asyncio.gather(*tasks, return_exceptionsTrue) ttfts [r[1] for r in results if not isinstance(r, Exception)] print(avg:, sum(ttfts)/len(ttfts), max:, max(ttfts))退化复现的判断标准前1分钟平均TTFT 70秒左右第10分钟涨到150秒以上说明连接池在排队。修复后应该稳定在45-50秒区间不随压测时长增长。4.3 验证修复效果修复后跑同样的压测对比三个指标平均TTFT、最大TTFT、超时率。我实测下来limit_per_host从1改到50后平均TTFT从156秒降到45秒左右超时率从15%降到0.1%以下。如果没降检查是不是total设得太小导致重试频繁触发。5. 本篇常见错排查5.1 TTFT算成了响应开始时间原始代码里first_token_time time.time() - start_time其中start_time是请求发起时间time.time()是收到响应头的时间。这算的是“响应开始时间”不是首token时间。正确做法是记录请求发送成功的时间点到收到第一个chunk的时间差。如果用流式接口要在iter_chunked里取第一个chunk的时间。5.2 超时设置被重试放大total60max_attempts3 每次实际等60秒 最坏180秒。排查方法在重试循环里打印每次attempt的耗时如果单次就接近60秒说明sock_read没生效服务器在拖时间。把sock_read设成15秒强制断开。5.3 DNS缓存没生效ttl_dns_cache30在高频压测下等于没缓存。改成300秒后用connector._resolve_host的日志确认解析次数下降。如果还是频繁解析检查是不是每次请求都新建了ClientSessionsession要复用。5.4 连接池参数和并发数不匹配limit_per_host50但并发100后50个请求还是会排队。要么把并发降到50要么把limit_per_host提到100。但别盲目调大先看服务器能承受多少。压测时观察connector._conns的长度如果长期打满说明该扩容了。5.5 重试没有指数退避固定sleep(1)在服务器过载时会加剧拥塞。用2 ** attempt做指数退避并设上限backoff_max8避免等太久。6. 长期编码与Agent场景的CTA如果你是在做长期编码任务或者Agent类应用单次请求的TTFT优化只是第一步更重要的是整个会话链路的稳定性。TaoToken的Coding Plan适合这种场景一个Key覆盖多模型连接池和超时策略可以统一配置不用每个供应商单独调。入口在 https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentcoding-planutm_campaignrewrite 。模型对话调试可以用 https://taotoken.net/chat?utm_sourcetaotoken_aicg_blog_endutm_contentchatutm_campaignrewrite 快速验证某个模型的TTFT基线。ClaudeCodeAnthropic相关配置参考 https://taotoken.net/claude-code-anthropic?utm_sourcetaotoken_aicg_blog_endutm_contentclaudecodeutm_campaignrewrite 。最后留一个我踩过的坑压测时别用同一个Key跑所有并发容易被限流误判成连接池问题。用API Keys页面生成多个Key按并发分组这样TTFT数据才干净。