读懂EVIE-8B基准成绩单：4大榜单138任务nDCG、Recall、MAP、MRR指标完全解读

读懂EVIE-8B基准成绩单4大榜单138任务nDCG、Recall、MAP、MRR指标完全解读【免费下载链接】EVIE-8B项目地址: https://ai.gitcode.com/tencent_hunyuan/EVIE-8BEVIE-8B是腾讯开源的视觉文档检索模型Visual Document Retrieval用一句自然语言提问它就能在成千上万张文档页面图片中找到最相关的那一页。它在 ViDoRe V1/V2/V3 和 JinaVDR 这4大榜单共138个任务上给出了完整成绩单覆盖 nDCG、Recall、MAP、MRR 四类指标 × 1/5/10 三个截断位置并以 66.24 分登顶 ViDoRe V3 榜单。这篇文章用大白话带你逐行读懂这张成绩单不需要任何检索背景知识。一、先搞清楚视觉文档检索在检索什么传统搜索引擎检索的是文字网页而视觉文档检索的对象是文档页面的图片——发票、财报、组织架构图、代码报错截图、专利文档等。模型会把每张页面编码成一组 4096 维的多向量per-token multi-vector再和查询文本做 MaxSim 后交互打分实现见 colpali/colpali_engine/utils/maxsim.py。仓库自带的 8 页 demo 文档就覆盖了典型场景下面这张FY2024 Q3 earnings财报页就是其中一页对应仓库里的演示脚本是 examples/demo/run.sh跑通后你就能亲眼看到查询 → 8 页打分排序的完整过程。二、4大榜单的规模为什么是138个任务成绩单的分母决定了可信度。138 个任务来自 4 个基准Board难度和文档池规模差异巨大榜单任务数查询数候选文档数特点ViDoRe V1103,9436,729单语言、文档池小相对最容易ViDoRe V241,1524,544文档池更小但允许多个相关页面ViDoRe V34814,514115,5128 大领域 × 6 种语言难度最高JinaVDR7643,37555,398多语言任务最多规模最大任务发现逻辑写在评测代码 code/shared/eval.py 中它会遍历eval/eval_v2/eval_v3/JinaVDR四个数据集目录并强制校验任务数必须是 10 4 48 76 138缺一不跑eval.py 第1055-L1062行保证成绩单满卷作答。三、一分钟看懂4大指标nDCG、Recall、MAP、MRR所有指标都带KK 1、5、10意思是只考察模型排出来的前 K 个结果。1. nDCGK排序质量总评最核心Normalized Discounted Cumulative Gain可理解为带位置折损的准确率相关页面排第 1 名得满分排第 5 名就大打折扣且按相关度分级加权。榜单排名看的就是它——ViDoRe 官方榜使用的正是nDCG10 的任务平均EVIE-8B 得分 66.24。2. RecallK正确页面有没有进前 K 名召回率 前 K 名中命中的相关页面数 ÷ 全部相关页面数。它不管名次只问找没找到。1 是最严格版本第一名就必须对10 则宽松得多。3. MAPK逐名累计的精确率Mean Average Precision把前 K 个位置中每一处命中的精确率平均起来。它比 Recall 更挑剔如果正确页面挤在 5、6、7 名这种中间地带MAP 会被拉低。4. MRRK第一个正确答案排第几Mean Reciprocal Rank只看第一个相关结果的位置排第 1 得 1 分、第 3 得 1/3 分。它最贴近真实用户行为——人通常只看第一条结果。四类指标的完整计算公式Recall、nDCG、MRR、MAP 的逐位实现见 code/shared/eval.py 的 metrics_from_scores。四、138任务成绩表逐行解读以下是 README 中的完整评测矩阵协议paired-all-pages-dedupprocess_queriesndcg2r-20260827MVT1024双向注意力指标ViDoRe V1ViDoRe V2ViDoRe V3JinaVDR4榜宏平均nDCG188.5175.5862.1475.5075.43nDCG592.1874.2364.1682.4578.26nDCG1092.6475.3566.7583.3079.51Recall188.5137.8730.7975.5058.17Recall595.0766.6558.6988.0777.12Recall1096.4376.3470.1090.6583.38MAP188.5175.9965.9475.5076.49MAP591.2167.3055.8280.5673.72MAP1091.4066.8156.3280.9273.86MRR188.5175.9965.9475.5076.49MRR591.2182.8575.3980.5682.50MRR1091.4083.2376.0980.9282.91三张典型的 demo 页面来自不同领域组织架构图、代码报错页你可以直观感受候选文档的多样性怎么读抓住下面 5 个信号难度排序一目了然V192.64 JinaVDR83.30 V275.35 V366.75候选文档池越大、语言越多分数越低——V3 要在 11.5 万张图、6 种语言中检索是公认最难的一关。1 → 10 的涨幅反映长尾难度V3 的 nDCG 从 62.14 涨到 66.75说明难例大多分布在第 2~10 名之间而非完全没找到。MRR 全面高于 MAP如 4 榜 MRR10 82.91 vs MAP10 73.86模型一旦命中正确页面通常就排在很前面中间地带的犹豫很少。Recall10 宏平均 83.38 是全场最高把范围放宽到前 10 名后绝大多数相关页面都能被捞回模型的召回上限很高。V3 分领域强弱nDCG10计算机领域 81.86 最强物理 52.11 最弱详见 README.md 的 Per-Domain 表这也是后续优化的重点方向。五、这些数字怎么算出来的评测协议一览成绩单的可复现性由三样东西保证全部开源在仓库中评测主程序code/shared/eval.py 负责加载基准数据、编码页面/查询、计算 4 类 × 3 个 K 值共 12 项指标并支持断点续跑--resume和多卡分片。运行脚本code/shared/eval_run.sh 封装了完整评测流程默认EVAL_K1,5,10跑完自动汇总出summary.json和summary.md。推理入口infer.py 提供独立的命令行打分工具例如把一条查询和若干页面图片传入即可输出 MaxSim 相关度分数排名。协议细节视觉 token 预算MVT1024、查询增强、重复页面去重等以协议指纹paired-all-pages-dedupprocess_queriesndcg2r-20260827固化在代码中eval.py 第34行任何配置变更都会让旧缓存失效保证数字与协议一一对应。六、关于成绩单的3个高频疑问Q1为什么 ViDoRe V1 那一列四个指标的 1 全是 88.51V1 是 paired 格式每条查询只有1 个标准答案页面。当正确答案唯一时nDCG1、Recall1、MAP1、MRR1 在数学上完全等价所以四数相同。V2 允许多个相关页面四指标才会分化V2 Recall1 仅 37.87因为找到 1 个相关页不等于找到全部相关页。Q2为什么 JinaVDR 的分数83.30比 V366.75高不少JinaVDR 任务多76 个但单任务文档池偏小、查询分布更规整V3 单任务就有上万个候选页且跨 6 种语言是大海捞针式的极限挑战。分数高低不能直接跨榜比较这正是宏平均一列的价值。Q3我该重点关注哪个数字如果是选模型上线看nDCG10榜单官方口径和MRR10用户体验口径如果是诊断模型缺陷看Recall1——它是唯一一步到位的严格指标1 分数低说明头部判别力还有空间。写在最后EVIE-8B 的 138 任务成绩单给出的核心信息可以浓缩为一句话在从 4 千到 11 万张文档页、从单语到六语的完整光谱上它以 79.51 的 nDCG10 宏平均拿下全榜单第一且在第一名命中率MRR上尤其扎实。如果你想亲手验证这些数字从 examples/demo/ 的 8 页 demo 开始再读 README.md 中的完整排行榜就是一份完整的学习路径。【免费下载链接】EVIE-8B项目地址: https://ai.gitcode.com/tencent_hunyuan/EVIE-8B创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考