首页/新闻资讯/正文详情

基准测试工具之你不知道的两三事 | 8.怎样找到并发与批大小的合理区间

发布时间:2026/11/20 12:24:20 来源:云帆数科 栏目:资讯中心
基准测试工具之你不知道的两三事 | 8.怎样找到并发与批大小的合理区间
上一篇文章做完公平的性能对比后很多人会立刻追问把客户端并发和批大小调到多大才能得到最好的性能这个问题没有脱离场景的固定答案。并发过低机器可能没有被充分利用并发过高客户端、网络或服务端会开始排队。批次太小请求开销占比变大批次太大单次等待、内存占用和尾部延迟又可能升高。真正要找的不是一个“最大数字”而是在当前业务约束下吞吐量、P99、失败数和资源消耗之间的合理区间。这一篇继续使用 IoT Benchmark说明怎样通过受控参数扫描找到这个区间而不是靠不断把参数调大来“跑分”。1. 先区分哪些参数在控制什么写入压力不是由单个参数决定的。IoT Benchmark 中下面几项共同决定客户端向数据库发起请求的方式参数它控制什么容易产生的误解DATA_CLIENT_NUMBER负责读写数据的客户端数量它表示测试客户端并发不等于真实设备总数。BATCH_SIZE_PER_WRITE每批每个设备写入的数据行数它改变的是批量粒度不是设备或测点数量。DEVICE_NUM_PER_WRITE一个批次中写入的设备数量它会和设备数、客户端分配方式一起影响单批数据量。OP_MIN_INTERVAL每个 loop 结束后的最小操作间隔它限制的是 loop 节奏不是每一个 batch 的间隔。INTERVAL_BETWEEN_WRITE_BATCH同一 loop 内每次 batch 写入后的最小间隔它可以让写入请求在时间上分布得更均匀。对写入而言单批数据点规模与DEVICE_NUM_PER_WRITE、SENSOR_NUMBER、BATCH_SIZE_PER_WRITE共同相关。也就是说单独提高批大小时实际增加的并不只是“行数”还会放大到每台设备的测点数和每批设备数。DATA_CLIENT_NUMBER并发请求形态DEVICE_NUM_PER_WRITE单批设备数SENSOR_NUMBER单批数据点规模BATCH_SIZE_PER_WRITE吞吐量、P99、失败数操作与批次间隔因此扫描参数时不要同时把所有旋钮调大。否则即使吞吐量变化了也不知道它来自更多客户端、更大的批次还是更密集的发压节奏。2. 合理区间不是最高吞吐量对应的单点假设不断提高DATA_CLIENT_NUMBER开始时吞吐量可能上升达到某个阶段后增长会变慢再继续提高时P99 可能快速上升甚至出现失败。这条曲线中的“最高吞吐量”不一定是业务的最佳选择。例如一个实时采集系统通常会更关心在设备持续写入时尾部延迟是否稳定、是否存在失败以及是否给查询和其他业务预留资源。此时吞吐量已经接近平台区、但 P99 仍平稳的一段往往比峰值点更适合作为生产配置候选。是否否是选择一个参数固定其余配置从低到高扫描记录吞吐量、P99、失败数与资源状态吞吐量仍明显提升继续增加下一档P99 或失败数是否恶化得到候选合理区间回退到前一档并复测图中的“下一档”不需要预先规定为某个固定数值。实践中可以从较小值开始以倍增或其他有规律的方式扩大候选范围关键是每一档都在同一环境和同一负载下重复运行。3. 先单因素扫描再做小范围组合最容易解释的做法是分两步进行。第一步只扫描客户端并发。固定设备数、测点数、批大小、写入间隔和乱序比例仅改变DATA_CLIENT_NUMBER。这样可以观察并发提升何时不再带来稳定收益。第二步只扫描批大小。把客户端数固定在第一步选出的候选区间内仅改变BATCH_SIZE_PER_WRITE。这时关注的重点从“还能否提高吞吐”变成“更大的单批请求是否开始拉高 P99 或造成失败”。只有在这两步之后才值得在候选区间附近进行少量组合测试。例如选取两个相邻客户端数和两个相邻批大小形成一个小矩阵而不是一开始就穷举所有可能值。阶段唯一变量保持不变目的并发扫描DATA_CLIENT_NUMBER数据规模、批大小、间隔、乱序和环境找到并发收益趋缓或延迟恶化的位置。批大小扫描BATCH_SIZE_PER_WRITE候选客户端数、数据规模、间隔、乱序和环境找到请求开销与单批等待之间的平衡。小矩阵验证客户端数与批大小的少数候选组合数据规模、间隔、乱序和环境验证候选区间在组合下仍稳定。这种顺序比一次跑完整网格更省时间也更容易说明为什么最后选择某一组配置。4. 一份最小参数扫描配置下面的配置只展示哪些参数通常需要被纳入扫描不是通用性能推荐值。开始扫描前应先把数据规模和写入负载固定下来。# 本轮只扫描 DATA_CLIENT_NUMBER其他值保持不变 DATA_CLIENT_NUMBER4 BATCH_SIZE_PER_WRITE100 DEVICE_NUM_PER_WRITE1 # 不额外限制 loop 与 batch 的发起间隔 OP_MIN_INTERVAL0 INTERVAL_BETWEEN_WRITE_BATCH0当扫描并发时可以为每个候选值保留一条记录当扫描批大小时重新固定客户端数。记录表不需要复杂重点是能回看每一轮到底改变了什么运行编号唯一变量值吞吐量P99失败数备注concurrency-01DATA_CLIENT_NUMBER待填待测待测待测其余配置固定。concurrency-02DATA_CLIENT_NUMBER待填待测待测待测其余配置固定。batch-01BATCH_SIZE_PER_WRITE待填待测待测待测客户端数已固定。表中的“待填”并不是结论缺失而是提醒测试者不要在没有实际运行时先写入结果。真实测试完成后应同时保存对应的完整配置和日志位置。5. 怎样读出“已经到头了”参数扫描的结果通常会出现以下几种形态观察到的变化更可能意味着什么下一步吞吐量持续上升P99 与失败数稳定当前负载下仍有余量可以测试下一档参数。吞吐量增幅变小P99 仍稳定接近吞吐平台区在当前档与前一档之间选择更符合业务资源预算的配置。吞吐量几乎不再提升P99 明显升高排队或资源争用开始显现不再单纯加压检查日志和资源状态。吞吐量下降或出现失败当前参数已超过某一环节的承受范围回退到稳定档定位失败原因后再测试。不同轮次差异很大环境、负载或系统状态尚未稳定回到基线确认变量是否真的被固定。这些判断仍然需要结合服务端日志、CPU、内存、网络和存储状态。比如吞吐量平台区可能来自服务端瓶颈也可能只是客户端无法再更快地生成或发送请求仅看一张结果矩阵无法直接区分。6. 给生产配置留出余量基准测试可以把系统推到极限生产配置却不一定应该停在极限点。现实系统还要面对查询、后台任务、网络波动、故障恢复和未来的负载增长。因此从扫描中选择配置时应优先考虑下面三点在目标业务负载下写入和必要查询的 P99 是否仍可接受是否连续多轮没有失败而不是恰好有一次成功是否还保留了应对峰值和其他业务任务的资源余量这也是为什么“最高吞吐量”与“最合适的生产配置”经常不是同一个答案。前者是在回答系统极限后者是在回答系统怎样长期、稳定地服务业务。7. 小结并发与批大小没有放之四海皆准的最佳值。正确的做法是先固定工作负载与环境分别扫描客户端数和批大小记录吞吐量、P99、失败数与资源状态再在候选区间做少量组合验证。当吞吐量已接近平台区而延迟、失败数和资源余量仍在业务可接受范围内就得到了比“峰值参数”更有价值的答案。下一篇将继续讨论怎样模拟乱序、补传与高峰写入让测试进一步接近现场数据到达方式。系列文章第一篇数据库基准测试工具是什么第二篇从一次时序数据库写入测试开始第三篇如何模拟线上写入负载第四篇如何读懂测试结果波动第五篇什么是读写混合负载第六篇如何模拟线上读写混合负载第七篇怎样做一场公平的性能对比

相关推荐

Laravel与Spring Boot开发效率对比:创业团队技术选型指南
Laravel与Spring Boot开发效率对比:创业团队技术选型指南

1. 创业团队的技术选型困境创业初期选择技术栈就像在迷雾中寻找灯塔,每个决策都可能影响产品的生死存亡。2018年我参与一个O2O项目时,团队就曾因技术选型失误付出惨痛代价——用Node.js重构了三次后台系统,最终错过市场窗口期。这段经历让我深… · 2026/10/27 12:35:50

嵌入式底层开发实战:ARM与Linux驱动精要
嵌入式底层开发实战:ARM与Linux驱动精要

1. 项目概述"不动笔墨不读书"这句古训在技术学习领域尤为适用。作为一名嵌入式开发工程师,我在研读《深入浅出嵌入式底层软件开发》这本经典教材时,决定启动这个抄书系列项目。不同于简单的摘抄,这个项目旨在通过手写笔记的方式&am… · 2026/10/31 0:43:46

强化学习驱动轮腿混合机器人:Sim2Real实现多模态移动控制
强化学习驱动轮腿混合机器人:Sim2Real实现多模态移动控制

1. 项目概述:当四足机器人装上全向轮如果你玩过四足机器人,无论是波士顿动力的Spot还是自己组装的Mini Cheetah,你大概会和我有一样的感受:在复杂地形上,它们的步态控制确实惊艳,但一旦到了平整光滑的地面&… · 2026/11/3 6:12:51

电工证使用吗?多久拿证?工地太忙根本没时间复习考试
电工证使用吗?多久拿证?工地太忙根本没时间复习考试

电工证使用吗?多久拿证?工地太忙根本没时间复习考试 工地太忙根本没时间复习考试,这是很多一线施工人员的真实写照。尤其是像电工证这种关乎安全生产的特种作业操作证,不仅是上岗的“通行证”,更是一份保障。但很多人对电工证是否真的“用得上”、办理流… · 2026/11/20 12:23:49

申请报考电工证的条件有哪些?考前押题帮你稳过实操考试
申请报考电工证的条件有哪些?考前押题帮你稳过实操考试

申请报考电工证的条件有哪些?考前押题帮你稳过实操考试 实操考试心里没底怕挂科?别慌,很多人第一次考电工证时都有这种担心。但只要你了解清楚申请报考电工证的条件,再结合考前押题来准备,其实通过率一点都不低。下面我就从信阳浉河区中小施工企业负责人… · 2026/11/20 12:23:49

考电工证判断必背口诀在哪考?电工证考试技巧全解析
考电工证判断必背口诀在哪考?电工证考试技巧全解析

考电工证判断必背口诀在哪考?电工证考试技巧全解析 实操考试心里没底怕挂科?别慌,考电工证判断必背口诀在哪考,其实早有章法。作为信阳一家中小施工企业负责人,我深知电工证在项目落地、设备运行、安全合规中的分量。今天就把那些年考试踩过的坑、刷过的… · 2026/11/20 12:23:49

电工证准考年龄最新政策解读,内部消息曝光,别再被坑了
电工证准考年龄最新政策解读,内部消息曝光,别再被坑了

电工证准考年龄最新政策解读,内部消息曝光,别再被坑了 实操考试心里没底怕挂科?你不是一个人。前两天我接了个电话,是个南阳应届工程类毕业生小李,说他准备报考低压电工证,但网上看到不同说法,搞得他心里七上八下的。这年头,特种作业证不光是找工作的… · 2026/11/20 12:23:49

电工证准考年龄到底怎么算?上岗必备证件你真了解吗?
电工证准考年龄到底怎么算?上岗必备证件你真了解吗?

电工证准考年龄到底怎么算?上岗必备证件你真了解吗? 之前考的证在外省能不能转过来?这几乎是每个准备考电工证的打工人都会问的问题,尤其是在跨省打工或换工作时,这种疑问更是频繁出现。很多人觉得电工证是上岗必备,但并不清楚自己的年龄是否符合报考要… · 2026/11/20 12:23:49

工地太忙根本没时间复习考试?中宁电工证哪里考含金量高一目了然
工地太忙根本没时间复习考试?中宁电工证哪里考含金量高一目了然

工地太忙根本没时间复习考试?中宁电工证哪里考含金量高一目了然 工地太忙根本没时间复习考试?你不是一个人。很多人在一线工作,每天和钢筋水泥打交道,根本没时间专门去准备电工证考试,但电工证的 含金量… · 2026/11/20 12:22:49

长春初级电工证怎么考?通过率揭秘全在这里
长春初级电工证怎么考?通过率揭秘全在这里

长春初级电工证怎么考?通过率揭秘全在这里 之前考的证在外省能不能转过来?这几乎是每个想从事电工工作的人都会问的问题。特别是那些在外地打拼多年、手里握着一张“外地电工证”的人,到了长春想继续干这一行,第一反应就是“我的证能用吗?”。今天我们就… · 2026/11/19 16:06:02

国内电工证报考条件与考试时间
国内电工证报考条件与考试时间

低压电工证怎么考?学历不高也能报名,官方报名入口全在这 你是不是经常听说“电工证是入行门槛”,但又担心自己学历不够、经验不足,根本报不了名?别急,今天就带你从零了解【国内电工证】的报考流程、考试内容,还有怎么在 官方报名入口… · 2026/11/19 17:40:37

电工作业时如何断电?电子证书到底能不能全国通用?
电工作业时如何断电?电子证书到底能不能全国通用?

电工作业时如何断电?电子证书到底能不能全国通用? 实操考试心里没底怕挂科,特别是电工作业时如何断电这一操作,不仅关系到你能不能拿到证书,更关系到以后能不能顺利上岗。很多人觉得这不过就是“断个电”,但其实这里面的门道可不少,稍有不慎就可能出错… · 2026/11/19 17:50:07

建设厅特种工周三报名怎么弄?上岗必备别被中介坑
建设厅特种工周三报名怎么弄?上岗必备别被中介坑

建设厅特种工周三报名怎么弄?上岗必备别被中介坑 不知道去哪报名怕被中介坑?作为商丘某高校工程类应届毕业生,小李最近就遇到了这样的困扰。他刚毕业,正在找实习岗位,发现很多工地都要求持有特种作业操作证,尤其是【建设厅特种工周三报名】这个时间点,… · 2026/11/20 0:00:54

中专考的中级电工证内部消息全攻略
中专考的中级电工证内部消息全攻略

中专考的中级电工证内部消息全攻略 你中专毕业,手头有中级电工证,但不知道从哪开始报名,怕被中介坑?别急,这篇文章就是为你量身定制的“内部消息”,帮你避开报名陷阱,稳稳拿到证书。… · 2026/11/20 0:00:54

外省电工证能转过来吗?电子证书怎么查电工作业教学效果评价
外省电工证能转过来吗?电子证书怎么查电工作业教学效果评价

外省电工证能转过来吗?电子证书怎么查电工作业教学效果评价 之前考的证在外省能不能转过来?这几乎是所有在外地打拼的电工从业者最关心的问题。特别是像洛阳这样的工业城市,很多电工证是在外地考的,现在想在当地用,流程是不是很复杂?其实,只要搞清楚… · 2026/11/20 0:00:54

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/20 10:25:45

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/20 10:25:54

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/20 10:26:03

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码