Milvus 索引不重建也能查：为什么召回率悄悄掉到随机水平

本文摘要换 Embedding 模型却不重建索引查询不报错但召回率悄悄跌至随机。通过 IVF_PQ 双层失配机制复现相似度趋同给出灰度切换方案。适用于新旧模型维度相同的场景维度变更时查询直接报错。一、问题与结论先说结论Milvus 允许插入新向量后不重建索引直接查询这是段模型的设计行为不是 bug。但当新向量来自不同 Embedding 模型时旧索引中的 PQ 码本和聚类质心无法表征新向量空间cosine 相似度分布趋同于随机——召回率可以从 92% 跌到 7%查询本身不报任何错。一个典型场景知识库第一天用text2vec-large-chinese导入 5 万条文档建IVF_PQ索引nlist256、nprobe16top-10 召回率 92%。第 30 天新增 80 万条文档Embedding 换成bge-large-zh——维度恰好也是 1024索引参数没动。查询正常返回HTTP 200延迟不变甚至更快但用户反馈搜不到相关内容。根因是两个模型输出维度相同但向量空间完全不同。不同模型学到的语义分布没有对齐新旧向量混在同一空间后ANN 检索返回的近邻与真实近邻几乎无关。这是一类系统报告一切正常但结果已经错了的静默降级。二、排查与选择依据排查分三层每层都在加剧失配PQ 码本层IVF_PQ的码本在 Day 1 基于旧 Embedding 分布训练。新向量落入码本未覆盖的区域量化后的距离估计接近噪声。IVF 聚类层nlist256的聚类中心固化在旧空间。新向量无法被正确分配到对应簇nprobe16命中的簇与真实近邻无关。查询层nprobe只探测 6.25% 的簇16/256。空间失配后这 16 个簇覆盖的向量和真实近邻没有任何相关性。三层叠加检索退化为近似随机返回。更隐蔽的是段切换效应新数据在 growing 段走暴力扫描能查准flush 进入 sealed 段走 ANN 索引后开始不准段模型详见下节。用户误以为刚插入的能搜到过段时间搜不到了实际是段切换暴露了空间失配。替代方案与取舍方案做法代价不适用场景双索引灰度切换新模型向量写入独立 Collection双路查询按比例切流双倍存储 双路合并逻辑维度变更时旧索引失效无法并行停机全量重建导出旧数据 → 用新模型重新 Embedding → drop 重建索引重建期间检索不可用需停机窗口实时性要求高无法接受停机分 Collection 隔离不同模型向量存入不同 Collection应用层多路查询后合并管理复杂度高需自定义合并去重单一模型场景下多余临时调高nprobe/ef每次查询增大搜索宽度查询延迟上升治标不治本空间严重失配时调高也无效本文方案的边界新旧 Embedding 维度不同时Milvus 查询会直接抛出维度不匹配错误不存在静默失败——这种情况下必须重建。本文讨论的静默退化仅发生在维度恰好相同、但向量空间不同的场景。三、关键原理Milvus 将数据分存于两类段Growing 段未 flush无索引检索走暴力扫描精确匹配Sealed 段已 flush按建索引时的参数构建 ANN 索引。索引参数nlist、efConstruction、PQ 码本是创建时快照固化了构建时刻的数据分布。数据持续增长但参数不更新等价于用过时的地图导航。IVF_FLAT 与 IVF_PQ 的衰减模式有本质区别FLAT 只有聚类层失真召回率可能从 92% 降到 65% 左右PQ 额外增加码本层失真两层叠加才真正跌到接近随机水平。这也解释了为什么同样是 IVF 索引FLAT 版本还能用PQ 版本直接不能用了。HNSW 的衰减模式不同M和efConstruction在构建时决定图的连接密度。数据量大幅增长后若ef仍按小数据集设定图中高层节点跳转精度下降。但 HNSW 不涉及码本换模型后的衰减通常没有 IVF_PQ 剧烈。四、可运行示例环境要求Python 3.10pymilvus[milvus_lite]2.4.0、numpy、faiss-cpu。Milvus Lite 随 pymilvus 安装无需 Docker。pipinstallpymilvus[milvus_lite]2.4.0numpy faiss-cpuMilvus 侧——Phase A 同模型建索引测基准Phase B 混入不同分布向量后不改参数再测importnumpyasnpfrompymilvusimportMilvusClient,DataType DIM128NLIST100NPROBE10TOP_K10defgen_vectors(n,dim,seed,model_offset0.0):rngnp.random.RandomState(seed)baserng.randn(n,dim).astype(float32)model_offsetreturnbase/np.linalg.norm(base,axis1,keepdimsTrue)defsetup(client,name,vecs,ids,tags):ifclient.has_collection(name):client.drop_collection(name)schemaclient.create_schema()schema.add_field(id,DataType.INT64,is_primaryTrue)schema.add_field(embedding,DataType.FLOAT_VECTOR,dimDIM)schema.add_field(model_tag,DataType.INT64)client.create_collection(name,schemaschema)ipclient.prepare_index_params()ip.add_index(field_nameembedding,index_typeIVF_FLAT,metric_typeCOSINE,params{nlist:NLIST},)client.create_index(name,ip)data[{id:int(i),embedding:v.tolist(),model_tag:int(t)}fori,v,tinzip(ids,vecs,tags)]client.insert(name,data)client.flush(name)defmeasure(client,name,queries,gt):hits0forq,ginzip(queries,gt):rclient.search(collection_namename,data[q],limitTOP_K,output_fields[id],search_params{metric_type:COSINE,params:{nprobe:NPROBE},},)hitslen(set(x[id]forxinr[0])set(g))returnhits/(len(queries)*TOP_K)defgt_brute(queries,all_vecs,all_ids,k):return[set(all_ids[np.argsort(-np.dot(all_vecs,q))[:k]])forqinqueries]clientMilvusClient(./milvus_demo.db)# Phase A同模型 10K 条vecs_agen_vectors(10_000,DIM,seed42)ids_anp.arange(10_000)setup(client,recall_demo,vecs_a,ids_a,[0]*10_000)queriesvecs_a[:100]gtgt_brute(queries,vecs_a,ids_a,TOP_K)recall_ameasure(client,recall_demo,queries,gt)print(fPhase A (10K, same model): recall {recall_a:.4f})# Phase B混入不同模型分布的 90K 条不改索引参数vecs_bgen_vectors(90_000,DIM,seed43,model_offset0.5)ids_bnp.arange(10_000,100_000)data_b[{id:int(i),embedding:v.tolist(),model_tag:1}fori,vinzip(ids_b,vecs_b)]client.insert(recall_demo,data_b)client.flush(recall_demo)# flush 后 sealed 段自动构建索引沿用 nlist100recall_bmeasure(client,recall_demo,queries,gt)print(fPhase B (100K, mixed model): recall {recall_b:.4f})client.drop_collection(recall_demo)FAISS 侧用同样思路验证这不是 Milvus 特有问题importfaissimportnumpyasnp DIM,NLIST,M128,100,8# vecs_a、vecs_b 与上方脚本使用相同的 gen_vectors 生成vecs_a...# 10Kseed42offset0vecs_b...# 90Kseed43offset0.5quantizerfaiss.IndexFlatIP(DIM)# IP 归一化 ≈ COSINEindexfaiss.IndexIVFPQ(quantizer,DIM,NLIST,M,8)index.train(vecs_a)# 码本只在 Phase A 上训练index.add(vecs_a)index.add(vecs_b)# 不 retrain、不重建# 用与 Phase A 相同的查询向量测 recall# FAISS 的 codebook 同样失配recall 同样显著下降预期输出Phase A 的 recall 显著高于 Phase B混入向量越多、model_offset越大下降越明显。实际输出须在本地运行后填入此处不预设具体数值。常见失败Phase B 插入后如果没有显式调用flush新数据仍在 growing 段走暴力扫描recall 不会下降——这会误导你以为没问题。必须调用flush或等待自动 flush让数据进入 sealed 段触发索引构建后再测。另外pymilvus2.4.x 的search方法搜索参数字段名为search_params不同 minor 版本可能有差异用前先查对应版本的 API 文档。五、验证结果与边界Phase B 测试的变量控制表条件影响说明model_offset0同模型追加recall 基本不变纯数据量增长每簇变粗但方向未偏移model_offset0换模型recall 随 offset 增大而下降offset 越大新旧向量空间重叠越少IVF_FLAT vs IVF_PQPQ 衰减更剧烈PQ 码本层额外失真叠加growing 段 vs sealed 段growing 不衰减暴力扫描不依赖索引参数关于双索引灰度切换新建 Collection 用新模型的索引旧 Collection 保持不动。查询时同时打两个索引按流量比例从新 Collection 拿结果逐步提高比例直到全切。两边 top-k 重合度稳定后再下线旧 Collection。存储是双倍的但不需要停机。停机重建的耗时取决于数据量、Embedding 模型推理速度、索引类型和硬件配置。建议在排期前用目标数据量做一次 dry-run 估算避免低估重建窗口。思考如果 Embedding 模型每季度升级一次双索引灰度切换和停机重建哪个在业务上更容易被接受召回率衰减监控的抽样频率如何平衡检测及时性和 ground truth 计算成本参考资料Milvus 索引类型文档2.4.xFAISS IndexIVFPQ 官方说明