百万级向量数据的写入优化批量导入、增量更新的最佳实践 本文是《向量数据库实战选型、调优与落地》专栏第 18 篇⏱️阅读时间约 12 分钟 开篇写入性能为什么重要很多团队在搭建向量数据库时把精力都放在了查询优化上——却忽略了写入性能同样关键 首次数据导入百万条数据写入要多久增量更新每天新增 10 万条怎么不影响在线查询数据重建换了嵌入模型全量数据要重新向量化怎么高效导入写入慢 上线慢 用户体验差 写入性能基线测试测试环境Milvus 2.48C16GSSD100 万条 1024 维向量写入方式速度总耗时CPU内存逐条写入2k/s8.3 min15%0.5GBbatch10012k/s1.4 min35%1.2GBbatch100025k/s40s⚡70%4GBbatch500024k/s42s85%12GB并发 batch1000×480k/s12.5s95%8GB结论并发批量写入比逐条写入快 40 倍️ 全量导入最佳实践方案一标准批量导入importtimeimportnumpyasnpfrompymilvusimportCollectiondefbulk_insert(collection,texts,embeddings,batch_size1000):标准批量导入totallen(texts)start_timetime.time()foriinrange(0,total,batch_size):batch_textstexts[i:ibatch_size]batch_embeddingsembeddings[i:ibatch_size]collection.insert([batch_texts,batch_embeddings])if(i//batch_size)%100:progressmin(ibatch_size,total)/total*100elapsedtime.time()-start_time speedprogress*total/100/elapsedprint(f进度:{progress:.1f}%, 速度:{speed:.0f}条/秒)elapsedtime.time()-start_timeprint(f导入完成总耗时:{elapsed:.1f}s, 平均速度:{total/elapsed:.0f}条/秒)# 使用bulk_insert(collection,all_texts,all_embeddings,batch_size1000)方案二并发批量导入importconcurrent.futuresfrompymilvusimportCollectiondefconcurrent_insert(collection,data,batch_size1000,max_workers4):并发批量导入batches[]foriinrange(0,len(data),batch_size):batches.append(data[i:ibatch_size])total_written0start_timetime.time()withconcurrent.futures.ThreadPoolExecutor(max_workersmax_workers)asexecutor:futures[]forbatchinbatches:texts[item[text]foriteminbatch]embeddings[item[embedding]foriteminbatch]futureexecutor.submit(collection.insert,[texts,embeddings])futures.append(future)forfutureinconcurrent.futures.as_completed(futures):resultfuture.result()total_writtenresult.insert_count elapsedtime.time()-start_timeprint(f并发导入完成总耗时:{elapsed:.1f}s)returntotal_written方案三Bulk Insert文件导入# 对于超大数据集使用文件导入更高效importjson# Step 1: 准备 JSON 文件defprepare_bulk_files(data,output_dir,file_size100000):将数据分成多个 JSON 文件foriinrange(0,len(data),file_size):batchdata[i:ifile_size]file_pathf{output_dir}/batch_{i//file_size}.jsonrows[]foriteminbatch:rows.append({text:item[text],embedding:item[embedding]})withopen(file_path,w)asf:json.dump({rows:rows},f)# Step 2: 通过 Milvus Bulk Insert API 导入frompymilvusimportutility# 将文件上传到 MinIO或指定存储# ...# 触发 Bulk Inserttask_idsutility.do_bulk_insert(collection_nameknowledge_base,files[batch_0.json,batch_1.json,batch_2.json])# 监控进度fortask_idintask_ids:stateutility.get_bulk_insert_state(task_id)print(f任务{task_id}:{state.state})文件导入 vs API 导入对比项API 导入文件导入Bulk Insert适合数据量 1000 万 1000 万✅速度25-80k/s100-500k/s⚡内存占用较高较低灵活性高可实时低批量操作断点续传需自己实现自动支持 增量更新策略方案一直接 Upsert# Milvus 支持 Upsert有则更新无则插入collection.upsert([[新文档内容],[new_embedding]])方案二分区增量# 使用分区管理增量数据frompymilvusimportCollection# 按日期创建分区collection.create_partition(data_2025_01)collection.create_partition(data_2025_02)collection.create_partition(data_2025_03)# 新数据写入最新分区partitioncollection.partition(data_2025_03)partition.insert([new_texts,new_embeddings])# 查询时搜索所有分区collection.load()# 加载所有分区resultscollection.search(...)方案三双 Buffer 切换┌─────────────────────────────────────────────────────────┐ │ 双 Buffer 增量更新 │ ├─────────────────────────────────────────────────────────┤ │ │ │ 在线 Buffer A当前服务 │ │ ┌──────────────────────────────────────┐ │ │ │ 存量数据 已索引 │ │ │ │ → 正常提供查询服务 │ │ │ └──────────────────────────────────────┘ │ │ │ │ 离线 Buffer B构建中 │ │ ┌──────────────────────────────────────┐ │ │ │ 增量数据写入 索引构建 │ │ │ │ → 不影响 Buffer A 的查询 │ │ │ └──────────────────────────────────────┘ │ │ │ │ 切换B 构建完成后原子切换到 B 提供服务 │ │ A 变成离线 Buffer接收下一批增量 │ │ │ └─────────────────────────────────────────────────────────┘⚠️ 写入优化的常见坑坑 1写入时不建索引# ❌ 错误边写边建索引forbatchinbatches:collection.insert(batch)collection.create_index(...)# 每次写入都建索引极慢# ✅ 正确先写完最后建一次索引forbatchinbatches:collection.insert(batch)# 全部写完后建索引collection.create_index(embedding,index_params)坑 2忽略 Flush# Milvus 写入后需要 Flush 才能持久化collection.insert(data)collection.flush()# 确保数据持久化# 批量导入后统一 Flushforbatchinbatches:collection.insert(batch)collection.flush()# 最后统一 Flush 一次坑 3内存溢出# ❌ 错误一次性加载所有数据到内存all_dataload_all_data()# 100GB 数据直接 OOM# ✅ 正确流式读取defstream_data(file_path,batch_size1000):batch[]withopen(file_path)asf:forlineinf:batch.append(json.loads(line))iflen(batch)batch_size:yieldbatch batch[]ifbatch:yieldbatchforbatchinstream_data(large_file.json):collection.insert(batch) 写入性能优化 Checklist优化项推荐值效果batch_size1000比逐条快 12x并发数4单机/ 8集群比单线程快 3-4x先写后建索引全部写完再建避免重复建索引Bulk Insert 1000万条数据比 API 快 5-10x流式读取大文件避免 OOM统一 Flush最后一次性减少 IO 次数 本篇核心要点回顾要点说明批量写入batch_size1000 是最佳平衡点并发写入单机 4 线程集群 8 线程超大数据用 Bulk Insert文件导入增量更新Upsert / 分区 / 双 Buffer常见坑先写后建索引、统一 Flush、流式读取下篇预告《向量数据库 RAG 融合实战构建企业级知识库的完整链路 》有问题欢迎评论区讨论觉得有用请点赞收藏 作者高炉炼铁智能化技术研究者专注钢铁冶金与人工智能 交叉领域。 如果觉得有帮助请点赞、收藏、转发版权归作者所有未经许可请勿抄袭套用商用(或其它具有利益性行为)。 关注专栏不错过后续精彩内容
企业数字化 ERP 产品动态
相关推荐
Unity团结引擎开发OpenHarmony Next应用:从零搭建环境到真机调试全攻略 1. 项目概述:为什么需要这份攻略?如果你是一名Unity开发者,最近肯定没少听到“鸿蒙”和“团结引擎”这两个词。当Unity官方宣布推出专为OpenHarmony(开源鸿蒙)适配的“团结引擎”时,整个开发者社区都兴奋了… · 2026/11/15 20:52:55
长期使用中观察到的API密钥管理与访问控制功能实用性 长期使用中观察到的API密钥管理与访问控制功能实用性
在长期、多项目的开发与运维实践中,大模型API的接入与管理逐渐从单纯的技术实现,演变为一项需要精细治理的工程任务。其中,API密钥的安全管理与访问控制是保障项目稳定、控制成本、防范风… · 2026/11/15 18:16:33
边缘计算与AI融合:实时目标检测的优化实践 1. 边缘计算与AI原生的技术融合趋势在智能摄像头、工业质检机器人、自动驾驶等场景中,传统云计算架构的延迟和带宽限制日益凸显。去年参与某智慧工厂项目时,产线质检系统因网络抖动导致200ms的检测延迟,直接影响了流水线节拍。这促使我们转向… · 2026/9/19 10:24:47
机电工程工作业绩报告怎么写?内部消息告诉你真相 机电工程工作业绩报告怎么写?内部消息告诉你真相 学历不高怕报不上名?其实很多人在准备机电工程工作业绩报告时,最大的顾虑并不是如何写报告,而是担心自己学历不够,根本就报不了名。但根据 国家安全生产考试网… · 2026/11/18 11:53:30
黑河建筑电工证官方报名入口在哪?别怕考不过白交钱 黑河建筑电工证官方报名入口在哪?别怕考不过白交钱 怕考不过白交培训费?别急,今天我就从一个干了8年应急管理一线的老手角度,跟你聊聊【黑河建筑电工证】怎么报、怎么考、怎么不踩坑,重点讲清楚报名入口在哪,还帮你避坑。… · 2026/11/18 11:53:30
电工证怎么网上审多久拿证?别被中介坑了,自己也能搞定 电工证怎么网上审多久拿证?别被中介坑了,自己也能搞定 你是不是也遇到过这种情况:想考个电工证,结果被各种培训机构忽悠得晕头转向,不知道去哪报名,担心被中介坑?现在好了,国家已经全面推行电工证网上审核和办理, 多久拿证… · 2026/11/18 11:53:30
低压电工证考试科目3怎么考才稳过?电子证书怎么查?实操考试心里没底怕挂科 低压电工证考试科目3怎么考才稳过?电子证书怎么查?实操考试心里没底怕挂科 实操考试心里没底怕挂科?低压电工证考试科目3怎么准备才能稳过?别慌,今天从安阳劳务班组负责人的角度,带你一步步理清楚低压电工证考试科目3的考法、合格标准和证书电子化查… · 2026/11/18 11:53:30
广州电工证考试查询网良心建议:外省证怎么转?广州电工证薪资前景全解析 广州电工证考试查询网良心建议:外省证怎么转?广州电工证薪资前景全解析 之前考的证在外省能不能转过来?这是很多持证人最关心的问题。如果你在外地考的电工证,现在想在广州从事相关工作,或者打算转岗到广州,那就得了解清楚怎么操作。这不仅是流程问题,… · 2026/11/18 11:53:30
工厂上班哪种电工证好 2026河南最新政策解读 工厂上班哪种电工证好 2026河南最新政策解读 工地太忙根本没时间复习考试,这是很多一线电工的普遍痛点。尤其是2026年河南最新政策出台后,对特种作业操作证的报考、考试、复审等流程有了更加明确的要求,这让很多已经工作多年的工人更加焦虑。你是… · 2026/11/18 11:52:29
长春初级电工证怎么考?通过率揭秘全在这里 长春初级电工证怎么考?通过率揭秘全在这里 之前考的证在外省能不能转过来?这几乎是每个想从事电工工作的人都会问的问题。特别是那些在外地打拼多年、手里握着一张“外地电工证”的人,到了长春想继续干这一行,第一反应就是“我的证能用吗?”。今天我们就… · 2026/11/18 8:19:55
国内电工证报考条件与考试时间 低压电工证怎么考?学历不高也能报名,官方报名入口全在这 你是不是经常听说“电工证是入行门槛”,但又担心自己学历不够、经验不足,根本报不了名?别急,今天就带你从零了解【国内电工证】的报考流程、考试内容,还有怎么在 官方报名入口… · 2026/11/18 8:19:53
电工作业时如何断电?电子证书到底能不能全国通用? 电工作业时如何断电?电子证书到底能不能全国通用? 实操考试心里没底怕挂科,特别是电工作业时如何断电这一操作,不仅关系到你能不能拿到证书,更关系到以后能不能顺利上岗。很多人觉得这不过就是“断个电”,但其实这里面的门道可不少,稍有不慎就可能出错… · 2026/11/17 9:06:35
电工证做题最新内部消息:怕考不过白交培训费?三招教你稳过 电工证做题最新内部消息:怕考不过白交培训费?三招教你稳过 你是不是也这样?报名了电工证培训,交了钱,结果一到考试就懵, 怕考不过白交培训费 ?别慌,这是很多初次报考人员的真实写照。而最近, 河南省应急管理厅… · 2026/11/18 0:00:37
许昌电工证在哪复审 别踩坑怕考不过白交培训费 许昌电工证在哪复审 别踩坑怕考不过白交培训费 怕考不过白交培训费,这几乎是每个想考电工证的学员心中的痛。尤其是在许昌,电工证的报考和复审流程复杂,稍有不慎就可能被坑, 千万别踩坑… · 2026/11/18 0:00:37
老式电工证还能用吗?怎么报名别踩坑,河南企业主都在问的实操真相 老式电工证还能用吗?怎么报名别踩坑,河南企业主都在问的实操真相 实操考试心里没底怕挂科?老式电工证还能用吗?怎么报名又怕被坑?这些问题几乎每个准备考电工证的施工企业负责人心里都在打鼓。尤其是河南本地的中小施工企业,很多都在用老式电工证,但随… · 2026/11/18 0:00:37
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/17 21:47:42
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/17 21:47:42
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/17 21:47:42