首页/新闻资讯/正文详情

ternlight的质量到底怎么样?Spearman与NDCG@10评测方法论完整解读

发布时间:2026/11/3 10:10:20 来源:云帆数科 栏目:资讯中心
ternlight的质量到底怎么样?Spearman与NDCG@10评测方法论完整解读
【免费下载链接】ternlight项目地址https://gitcode.com/gh_mirrors/ter/ternlight点击查看免费下载ternlight 是一个只需 5–7 MB 就能在浏览器和 Node.js 中运行的端侧语义搜索模型它把引擎、模型和分词器打包进一个 WebAssembly 文件完全靠 CPU 完成向量嵌入无需调用任何 API。它的核心指标是Spearman 秩相关系数 0.844和SciFact NDCG10 达 0.465——这两个数字到底怎么算出来的、又说明了什么本文带你完整解读 ternlight 的评测方法论。 先搞懂ternlight 是做什么的一句话把一段文本变成一个 384 维的语义向量embedding再用余弦相似度找意思相近的文本。它的技术栈相当激进三值权重ternary weights每个权重只能是-1、0、1矩阵乘法变成加减法单文件交付模型 BERT 分词器 Rust 推理引擎全部塞进一个.wasm零依赖运行不需要 GPU、不需要 ML 框架、不需要联网项目分为两个档位详见 README.mdternlight/base⭐ternlight/mini传输体积gzip7.2 MB5.0 MB单次嵌入延迟5.1 ms2.5 msSpearman vs 教师模型0.8440.820SciFact NDCG100.4650.439那么问题来了压缩了 20 倍以上的模型质量还剩多少官方用两个指标来回答——Spearman 和 NDCG10。 Spearman学生模型的排序能力像不像老师ternlight 的模型是从all-MiniLM-L6-v2教师模型蒸馏而来的学生模型。Spearman 评测回答的问题是给定一堆句子学生模型给句子对打的相似度分数排序上是否与教师模型一致具体流程实现见 spearman.js取100 条留出held-outMS MARCO 查询先用教师模型算好每句的嵌入向量存为语料文件 spearman_smoke_1k.json候选模型用 WASM 引擎重新嵌入同样的句子用固定随机种子seed42确定性抽取 1000 个句子对分别计算两侧的余弦相似度再算两组分数之间的Spearman 秩相关系数这个指标的关键特性1.0 完美学生与教师对每一对句子的相似程度排序完全一致对尺度和偏移不敏感只看排序不看绝对分数完全可复现固定种子意味着任何人重跑都会得到一模一样的数字精确到 4 位小数⚠️ 注意Spearman 衡量的是蒸馏保真度学生像不像老师而不是模型对人类的判断有多准——后者属于 STS-Benchmark 那一类评测是另一套数字。 NDCG10能不能真正搜到对的文档Spearman 高 ≠ 检索一定好用。一个模型可以在相似度打分上表现优秀但实际做查询 → 找文档的排序时翻车。所以官方引入了下游检索任务来检验真正的产品能力。NDCG10Normalized Discounted Cumulative Gain是信息检索领域的标准指标通俗地说对每个查询模型排在前 10 名的文档里真正相关的文档是否排在越靠前的位置分数越高越好1.0 表示完美排序。计算方式见 evaluation.py在 BEIR 的SciFact任务上测试约5,183 篇文档语料 ×300 条测试查询用余弦相似度给所有文档打分取 Top-10按位置越靠后折减越大log2(排名2)分母计算 DCG再除以理想排序的 IDCG所有查询取微平均官方把 NDCG10 称为承载性数字load-bearing number——因为对语义搜索库这个产品定位来说能不能搜到才是用户真正关心的问题。 真实结果压缩 20 倍质量掉了多少完整评测报告见 eval/quality/RESULTS.md核心数字如下模型变体体积Spearman相对 fp32 学生保留率MiniLM-L6 教师90.9 MB1.000参考基准学生模型 fp32未量化38.0 MB0.883100%ternlightemb_int88.3 MB0.84195%ternlightemb_int4⭐4.6 MB0.83595%ternlightemb_ternary2.9 MB0.71080%从这张质量换尺寸的散点图可以读出三个关键结论fp32 → int8 → int4 几乎无损Spearman 从 0.883 缓降到 0.835保留了约 95% 的排序信号悬崖在 4 bit 以下再压到三值嵌入Spearman 骤降 0.13——所以emb_int4成为默认发布档位一句话总结从 fp32 教师模型到发布版体积压缩 20 倍只损失 0.165 的 Spearman原始数据含字节数、参数量、检查点路径都记录在 eval/results/quality.json保证数字可追溯、可复现。 评测方法论的四个设计原则ternlight 的完整评测框架定义在 eval-methodology.md覆盖模型质量、量化差距、性能、体积、兼容性、横向对比六个维度。几个值得学习的方法论细节发布差距而不只是头条数字Spearman 0.844 单独看没意义必须对照教师模型1.0和 fp32 学生模型0.883才有上下文版本锚定一切每次发布生成带版本号的results/vX.Y.Z.json报告由 run-eval.sh 脚本统一再生成杜绝手工改表区分引擎与模型引擎 bug 和模型弱点都会拉低指标所以 parity 测试Rust 数学是否与 Python 一致到 ~1e-7和绝对质量测试分开报告见 eval/ 目录结构所有数字确定性可复现固定 seed、固定语料、固定 commit重跑即复现 结论ternlight 的质量到底怎么样答案是相当能打且边界清晰✅ 对 5–7 MB 的端侧嵌入模型而言0.844 Spearman 0.465 NDCG10 意味着搜索即输入、FAQ 匹配、意图路由这类短文本场景完全够用✅ 评测体系本身值得参考双指标互补保真度 下游任务、全链路可复现、主动公布差距⚠️ 它不是前沿模型——128 token 输入上限、仅支持英文绝对质量低于text-embedding-3-large这类 API 模型选择建议当体积、延迟、离线能力和隐私比最后几个质量点更重要时ternlight 是最优解之一反之请选云端嵌入 API深入阅读项目总览 · 模型内部结构 · 推理引擎 · 模型注册信息赞分享【免费下载链接】ternlight项目地址https://gitcode.com/gh_mirrors/ter/ternlight点击查看免费下载相关推荐LocalVQE 评测方法论详解AECMOS、ERLE、DNSMOS 盲测指标到底怎么读LocalVQE 评测方法论详解AECMOS、ERLE、DNSMOS 盲测指标到底怎么读 LocalVQE 是一套可在普通 CPU 上实时运行的语音增强模型Cupertino 搜索质量评估体系Cranfield 范式下 P1/MRR/NDCG 量化评测方法论Cupertino 搜索质量评估体系Cranfield 范式下 P1/MRR/NDCG 量化评测方法论 Cupertino 是一款本地 Apple 文档爬虫量化精度怎么测才可信:Qwen3.8-27B-AP-GGUF的KL散度评测方法完整解读量化精度怎么测才可信:Qwen3.8 27B AP GGUF的KL散度评测方法完整解读 想知道手里的量化模型到底损失了多少精度?本文带你完整拆解 Qwen3.8人工智能大模型模型量化本地部署上一篇Montserrat字体免费商用实战九字重三系列从安装配置到进阶定制一次讲透下一篇5分钟串口调试快速指南SerialPortAssistant 从零到上手创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

相关推荐

Whisky 完整指南:4 步在 Apple Silicon Mac 上免费运行 Windows 应用
Whisky 完整指南:4 步在 Apple Silicon Mac 上免费运行 Windows 应用

Whisky 完整指南:4 步在 Apple Silicon Mac 上免费运行 Windows 应用 【免费下载链接】Whisky A modern Wine wrapper for macOS built with SwiftUI 项目地址: https://gitcode.com/gh_mirrors/wh/Whisky 同事发来一个只有 Windows 版 .exe 的小工具&#x… · 2026/11/3 10:10:20

CC Switch v4.0.19 升级指南:Kimi Code 完整接入,45 个提交改动 206 个文件
CC Switch v4.0.19 升级指南:Kimi Code 完整接入,45 个提交改动 206 个文件

CC Switch v4.0.19 升级指南:Kimi Code 完整接入,45 个提交改动 206 个文件 【免费下载链接】cc-switch A cross-platform desktop All-in-One assistant for Claude Code, Codex, OpenCode,DeepSeek Harness and more. Only official website: ccswitch… · 2026/11/3 10:10:20

【数据分析】DAU 实战手册:从定义到增长的完整闭环
【数据分析】DAU 实战手册:从定义到增长的完整闭环

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 10:09:20

神经网络画图PPT模版:从图形语义到结构复用的设计指南
神经网络画图PPT模版:从图形语义到结构复用的设计指南

简介:这份神经网络画图PPT模版面向机器学习学习者、论文撰写者与高校教师,用于在学术报告、课堂教学和论文配图中直观呈现神经网络结构与工作原理,解决手绘示意图耗时、结构不统一的问题。压缩包内共1个pptx文件,约28.87MB&#x… · 2026/11/3 10:56:26

信息系统管理工程师中级高频考点与答题技巧
信息系统管理工程师中级高频考点与答题技巧

简介:这份资源是面向软考中级「信息系统管理工程师」考生的考前复习笔记,以docx文档形式系统梳理计算机组成、并行处理、指令系统、存储管理、操作系统、进程与文件管理等核心考点,适合需要快速回顾理论框架、查漏补缺的备考人员。压缩包内共… · 2026/11/3 10:56:26

TortoiseGit新手入门教程:从安装配置到克隆提交推送完整指南
TortoiseGit新手入门教程:从安装配置到克隆提交推送完整指南

简介:TortoiseGit 使用教程面向 Windows 平台下刚接触版本控制的开发者与 Git 初学者,围绕图形化客户端 TortoiseGit 的安装、配置与日常操作展开,帮助不熟悉命令行的读者借助右键菜单完成仓库管理。包内共 1 个 docx 文档,压缩包… · 2026/11/3 10:56:26

海康综合安防平台部署全流程:从裸机到登录的实战指南
海康综合安防平台部署全流程:从裸机到登录的实战指南

简介:这份PDF文档面向安防工程实施人员与系统集成初学者,系统讲解海康威视综合安防平台(iSecure Center)的安装部署流程,帮助读者快速完成从环境准备到平台上线的全流程落地。内容涵盖前期需求分析与硬件网络规划、服务… · 2026/11/3 10:56:26

RBS6601基站开站全流程:从硬件核对到EMAS配置的实战指南
RBS6601基站开站全流程:从硬件核对到EMAS配置的实战指南

简介:面向通信工程技术人员与基站调测督导的RBS6601开站实操文档,聚焦WCDMA基站从硬件检查到系统调测的完整落地流程,适合具备一定无线设备基础、需要独立完成单DU或双DU站点开通的工程师参考。资源包共1个doc文件,约2.63MB&#… · 2026/11/3 10:56:26

Excel计量修约漏洞:用SWL函数实现国标GB/T 8170四舍六入逢五奇进偶舍
Excel计量修约漏洞:用SWL函数实现国标GB/T 8170四舍六入逢五奇进偶舍

简介:本资源是一份面向计量、质检及数据分析领域从业者的Excel高级数值处理技术文档,专门解决Excel原生函数无法实现“四舍六入、逢五奇进偶舍”(GB 8170—87修约规则)的实务难题。文档完整提供自定义VBA函数SWL(x, y)的原理说明、… · 2026/11/3 10:55:25

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/2 13:10:28

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 6:04:24

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 5:52:46

STM32F411RE与MAX14431实现SPI隔离:工业现场抗共模干扰实战
STM32F411RE与MAX14431实现SPI隔离:工业现场抗共模干扰实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 1:01:59

ESP32+大模型AI硬件开发:从Demo到产品的8个工程问题
ESP32+大模型AI硬件开发:从Demo到产品的8个工程问题

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 1:01:59

基于MAX14431BAEE+与PIC18F85J10的SPI隔离方案设计与实践
基于MAX14431BAEE+与PIC18F85J10的SPI隔离方案设计与实践

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 1:01:59

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/2 13:10:28

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 6:04:24

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 5:52:46

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码