从指标到流水线：VoltAgent 中的 LLM 评估实战指南

人工智能AI AgentAgent 框架后端多智能体RAG工具调用Agent 记忆【免费下载链接】voltagentAI Agent Engineering Platform built on an Open Source TypeScript AI Agent Framework项目地址https://gitcode.com/gh_mirrors/vo/voltagent点击查看免费下载本指南以 VoltAgent 官方博客《LLM Evaluation - Measuring AI Model Performance》为主线系统讲解 LLM 评估的类型划分、核心挑战、评估流水线构建、关键指标选型与最佳实践并结合 VoltAgent 开源仓库中packages/evals与packages/scorers的源码实现给出可直接落地运行的实验编排与评分器代码。读完本文你将掌握从指标选型、数据集准备到 CI/CD 集成评估的完整方法论并能用 VoltAgent 的createExperiment/runExperiment与内置 Scorer 搭建自己的评估体系。一、为什么评估是 LLM 开发的核心环节训练出一个 LLM 只是起点真正的考验是确认它是否真的表现出色。你可能花费数周调优模型、打磨提示词但如果没有可靠的评估手段就无法回答两个关键问题这些调整到底是让结果变好了还是变坏了如何让团队或管理者相信新方案值得投入在生产条件下模型必须能处理边界情况、保持稳定性并胜任它被创造出来要解决的问题。随着组织把 LLM 放在产品的最前端一个表现糟糕的模型不再只是技术故障——它可能损害品牌、浪费资源、赶走客户。因此成熟的团队会把评估放到开发流程的中心位置而不是事后补救。VoltAgent 对此给出了工程化的回答voltagent/evals提供实验编排数据集、runner、评分器、通过标准voltagent/scorers提供现成的评分器集合二者配合即可把「评估」变成开发流程中可重复、可度量、可自动化的环节。二、LLM 评估的三种路径自动评估、人工评估与混合策略测试 LLM 有多条路径可选每种路径都有其适用场景最佳方案通常是它们的组合。2.1 自动评估Automatic Evaluation自动评估是快速、可扩展测试的默认选择把数据输入模型将输出与已知正确输出比较得到评分。指标驱动评估Metrics-driven assessment观察输出与标准答案的接近程度或在标准化考试上的表现。成本低、速度快能给出可随时间追踪的数字。基准数据集Benchmark datasets经过精心人工整理的测试集用于与其他人的模型横向对比相当于 AI 领域的「标准考卷」。优势在于几分钟内可以运行数千个测试结果可复现、可靠且能轻松看到随时间推移的改进。缺点是指标有时会偏离用户真正关心的东西——模型可能在纸面上表现优秀却在实践中产生生硬或无用的回答。2.2 人工评估Human Evaluation自动指标会遗漏人类一眼就能察觉的细微之处——语气、恰当性或者回答是否真的解决了用户的问题。专家评审Expert review领域专家依据与具体用例相关的标准检查输出最全面能捕捉自动化系统发现不了的问题。众包评审Crowd-sourcing对每个示例使用多名评审者可通过 Amazon Mechanical Turk 或专业标注服务实现视角更广有助于发现评审者偏见。代价显而易见人工测试昂贵且耗时。但对高风险应用或测试新方法时通常值得而且人工反馈还能指出你根本没想到要程序化测试的问题。2.3 混合方法Hybrid Approaches混合策略是「主计划」自动测试用于快速迭代和大范围覆盖人工测试用于质量保证与边界情况发现。例如每次模型更新都跑自动指标每周或重大版本发布前做一次人工评估也可以用人来验证自动指标是否真的与真实世界表现相关。这样同时获得自动化的速度与规模、以及人类评审者的细致判断。三、评估面临的核心挑战评估 LLM 不只是选对指标。以下固有难题让整个过程比看起来复杂得多。3.1 幻觉检测Hallucination Detection这是使用 LLM 时最头疼的问题模型可能以完全确定的语气断言并不存在的事实。传统指标无法发现它因为这类文本写得流畅、语法正确。幻觉可能是细微的——模型报告 90% 的事实正确却捏造了一个关键细节或者生成看似合理但实际不存在的引用。常规相似度指标会完全漏掉这些问题。需要专门的流程有的团队构建事实核查流水线把论断与可靠来源比对有的团队让多个模型相互交叉核验在关键用例中人工评估对于识别这些问题不可或缺。在 VoltAgent 中createFactualityScorer见 packages/scorers/src/llm/classifiers.ts正是为此设计的 LLM-as-a-judge 评分器它让评判模型在「子集一致 / 超集一致 / 完全一致 / 与专家答案冲突 / 差异不影响事实性」五个选项A–E中选择并据此给出 0–1 的分数。3.2 偏见与公平性评估Bias and Fairness AssessmentLLM 会强化或夸大数据中的偏见这不仅是伦理问题还有真实的商业与法律风险。难点在于偏见形式多样模型对某些群体表现更差或以微妙的方式产生刻板印象式回答。标准准确率指标不会暴露这些问题因为它们不按群体拆分。需要主动在多个维度上测试偏见包括使用多样化测试集、测量群体间性能差距以及检查回答内容本身而不仅仅是技术上的正确性。3.3 跨提示一致性Consistency Across Different Prompts同一个模型对本质相同的问题如果换一种问法可能给出截然不同的答案——这是严重的用户体验问题。常规测试通常逐个提示词评估但真实用户会用无限种方式提出同一问题。一致性测试需要构造同一基本问题的多个不同版本并验证答案在所有版本间保持一致。这项工作劳动密集但对构建稳定应用必不可少。3.4 多轮对话评估Multi-turn Conversation Evaluation大多数测试针对单个问答对但对话包含上下文、追问和话题切换评估长对话要困难得多。需要观察模型是否理解上下文、能否适应话题变化、是否与先前内容保持一致。传统指标在这里失效因为它们忽略对话流。一些团队使用对话测试框架或让人类评估者与模型进行完整对话——这能更好地反映真实世界表现但更耗时耗钱。3.5 领域特定性能Domain-specific Performance对通用问题表现优异的模型在专业领域医疗、法律、技术写作可能崩溃因为这些领域包含通用测试忽略的领域知识。难点在于领域专家昂贵且稀缺——不能对专业内容众包测试必须与领域专家建立关系构建对专家知识敏感的评估流程。如果正在为特定行业开发应用这笔投入非常值得。四、构建评估流水线一个好的评估流水线不是「执行一次测试」而是定义一套可复现的过程让你长期信任模型。4.1 数据收集与准备测试的质量取决于测试数据——这正是大多数团队犯下昂贵错误的地方。代表性测试数据必须代表真实世界用法。避免从训练集中随机取样应收集真实用户查询、遇到的边界情况、对公司业务关键的场景。如果构建客服机器人要包含客户真正会问的奇怪问题而不是文档里那些干净示例。质量优先于数量100 个优质多样的例子比 1000 个雷同的例子更有价值。要覆盖不同类型的用户、使用场景和难度级别。完整记录每个测试用例不仅要记录输入和期望输出还要记录为什么相关、测试的是哪种具体能力。这些上下文在调试失败或向利益相关者汇报时至关重要。在 VoltAgent 中数据集用ExperimentDatasetDescriptor描述见 packages/evals/src/experiment/types.ts每个条目ExperimentDatasetItem至少包含id、input、expected和可选的extra字段——extra正好用于携带关键词、上下文片段、数字基线、JSON 基线等扩展测试信息示例见 examples/with-offline-evals/src/experiments/dataset.ts。4.2 基线确立优化之前必须先知道自己在哪。基于当前最佳实践为所有关键指标建立基线作为对比基准。不要孤立地测试主模型——同时测试关键词匹配、模板回复等简单基线甚至可行时加入人类表现。你有时会发现花哨的 LLM 在某些任务上并不比简单方法更好。从一开始就追踪多个指标单一指标永远无法解释全部必须尽早发现权衡——新方案可能提高了准确率但降低了响应速度或者提高了技术正确性却让回答更不讨喜。4.3 持续监控评估不是一次性过程。模型性能会因数据变化、用户模式变化或基础设施问题而漂移。需要持续在生产中重测的系统设置周期性自动测试每日运行捕捉萌芽中的问题每周详细运行用于观察趋势和深入排查频率取决于业务关键程度和环境变化速度。为显著性能下降建立告警准确率突然下降 10% 应立即知晓而不是下个月报告中才发现但也要避免告警疲劳。追踪领先指标而非滞后结果响应时间、错误率、用户行为能在关键指标恶化之前发出信号。4.4 A/B 测试进行模型对比与其替换新旧模型后听天由命A/B 测试允许用真实用户和真实流量对比方案。从小流量开始把一小部分流量导向新模型确保随机化且用户分段独立测试时间要足够长以获得统计显著性又不能过长而错过改进机会不要只看顶层指标还要关注副作用——支持工单增加、响应时间上升、用户行为模式变化。五、关键评估指标评估 LLM 需要硬数字来追踪进度和做决策但不同任务要求不同方法。5.1 经典 NLP 指标BLEUBilingual Evaluation Understudy最初为机器翻译设计度量模型回答与参考回答之间的相似度检查有多少词和短语匹配得当。适合存在「唯一正确答案」的场景如翻译句子但在创造型任务中表现不佳——模型生成了优秀回答却用了与参考不同的措辞BLEU 可能给低分。ROUGERecall-Oriented Understudy for Gisting Evaluation面向召回recall常用于摘要因为它衡量模型是否捕捉到了源文本最重要的信息。METEOR试图超越 BLEU因为它考虑同义词和词干更灵活但计算更复杂。适用场景简单的「正确答案」型问题以及追踪原始改进趋势。对复杂开放性问题应完全避开。5.2 现代 LLM 指标BERTScore基于上下文嵌入比较文本不只是匹配单词而是理解「happy」与「joyful」含义相近更适合比较改写与创意写作。BLEURT更进一步它基于人类判断训练学习近似人类对文本质量的评价更贴近真正重要的东西。Perplexity困惑度衡量模型对一段文本的「惊讶」程度困惑度越低通常意味着模型对文本的理解越好特别适合比较做同一任务的模型。这些指标更复杂、计算更昂贵但在需要测量细粒度输出、或普通指标无法捕捉应用相关要素时值得使用。5.3 任务特定指标Accuracy准确率分类问题简单直接——如果模型要分类支持工单准确率告诉你它分类正确的频率。F1-score精确率与召回率的平衡最适合假阳性和假阴性同等关键时。例如从报告中提取关键数据时既要高精确率别弄错也要高召回率别漏掉重要内容。业务特定指标客户满意度、任务完成率、追问频率等与业务结果紧密挂钩。关键在于让指标匹配目标创意写作助手可能更看重参与度和独特性而非语法正确性医疗诊断系统只认安全与正确。六、在 VoltAgent 中落地createExperiment 与 runExperiment原博客从方法论层面讲解评估而 VoltAgent 仓库把整套方法论落成了可执行代码。核心是voltagent/evals包其入口见 packages/evals/src/index.tscreateExperiment负责定义实验runExperiment负责执行并产出汇总结果。6.1 安装npm install voltagent/core voltagent/evals voltagent/scorers voltagent/sdk # 或 pnpm add voltagent/core voltagent/evals voltagent/scorers voltagent/sdk6.2 定义一个实验createExperiment接受一个ExperimentConfig类型定义见 packages/evals/src/experiment/types.ts核心字段如下字段说明id实验唯一标识非空字符串createExperiment会强校验见 create-experiment.tslabel/description实验名称与描述dataset数据集描述符可用本地items或resolve解析器也可关联 VoltOps 托管数据集runner执行函数接收{ item, index, total, signal, ... }上下文返回{ output, metadata?, traceIds? }scorers评分器配置数组来自voltagent/scorers或自定义passCriteria通过标准meanScore平均分下限或passRate通过率下限可设scorerId限定某个评分器tags标签会被去重、去空白并冻结voltOpsVoltOps 集成选项client、autoCreateRun、tags 等参考examples/with-offline-evals中的完整实验定义 offline.experiment.tsimport { Agent } from voltagent/core; import { createExperiment } from voltagent/evals; const supportAgent new Agent({ name: offline-evals-support, instructions: You are a helpful assistant that answers questions about VoltAgent concisely and accurately., model: openai/gpt-4o-mini, }); export default createExperiment({ dataset: { name: support-qa, items: [ { id: volt-support-001, input: How can I enable live eval scorers in VoltAgent?, expected: ... }, ], }, id: offline-smoke, label: Offline Regression Smoke Test, description: Demonstrates createExperiment runExperiment without VoltOps connectivity., runner: async ({ item }) { const result await supportAgent.generateText(item.input); return { output: result.text }; }, scorers: [], passCriteria: { type: meanScore, min: 0.5, }, });6.3 运行实验并查看汇总import { runExperiment } from voltagent/evals; import experiment from ./offline.experiment.js; const result await runExperiment(experiment, { onProgress: ({ completed, total }) { console.log(Processed ${completed}/${total ?? ?} items); }, }); console.log({ success: result.summary.successCount, failures: result.summary.failureCount, errors: result.summary.errorCount, meanScore: result.summary.meanScore, passRate: result.summary.passRate, });runExperiment的选项源码见 packages/evals/src/experiment/run-experiment.ts选项类型说明concurrencynumber并行处理的最大数据集条目数默认 1signalAbortSignal中止实验运行voltOpsClientclient 实例用于解析 VoltOps 托管数据集并向 VoltOps 上报结果onItem(event) void \| Promisevoid每个数据集条目完成后回调携带结果与分数onProgress(event: { completed, total? }) void \| Promisevoid整体进度回调运行结果ExperimentResult包含runId、summary和itemssummary汇总了totalCount、successCount、failureCount、errorCount、meanScore、passRate、各评分器的聚合ExperimentScorerAggregate均值/最小/最大分、通过率、阈值以及每个passCriteria的评估结果——这正好对应原博客中「持续监控」和「多指标追踪」的建议所有数字都在一次运行后集中产出便于进 CI/CD 或定期任务。6.4 数据集来源与 VoltOps 集成数据集的items可以是普通数组、Iterable/AsyncIterable也可以通过resolve函数按需解析支持limit与signal。若通过runExperiment选项或config.voltOps.client提供voltOpsClient数据集可从 VoltOps 项目加载、运行结果会上报至 VoltOpsautoCreateRun、autoCreateScorers等选项控制自动创建行为见 types.ts。CLI 侧packages/cli/src/commands/eval.ts也提供数据集拉取/推送与实验运行等命令从源码结构可以推断它支持将本地数据集同步到 VoltOps、从远端拉取数据集以及触发实验运行。七、内置评分器启发式指标与 LLM-as-a-judge原博客把指标分为「经典 NLP 指标」与「现代 LLM 指标」VoltAgent 的voltagent/scorers则把这两类都做成了可插拔的评分器Scorer分两类7.1 启发式评分器无需 LLM/API Key来自 AutoEvals 的启发式评分器零成本、确定性强适合快速回归评分器作用exactMatch精确字符串匹配levenshtein编辑距离相似度jsonDiffJSON 结构差异listContains列表包含关系numericDiff数值差异它们的定义见 packages/scorers/src/index.ts。在实验中使用时通过buildParams把期望值喂给评分器{ scorer: scorers.exactMatch, buildParams: (runtime) ({ expected: runtime.expected }), }7.2 LLM 评分器LLM-as-a-judgevoltagent/scorers提供一组需要传入model参数的 LLM 评分器导出于 packages/scorers/src/index.ts用另一个模型充当裁判createAnswerCorrectnessScorer实现见 answer-correctness.ts。让评判模型把回答中的每个陈述分类为 TP真阳性答案与标准答案中都出现、FP假阳性答案有但标准答案没有或 FN假阴性标准答案有但答案遗漏再按 F1 公式2·precision·recall / (precision recall)计算分数源码 L179-L190可配置factualityWeight调整事实性权重。createAnswerRelevancyScorer/createContextPrecisionScorer/createContextRecallScorer/createContextRelevancyScorer面向 RAG/检索场景的评分器分别评估答案相关性、上下文精确率、上下文召回率与上下文相关性实现位于 packages/scorers/src/llm/ 下。createFactualityScorer/createSummaryScorer/createTranslationScorer/createHumorScorer/createPossibleScorer基于「选项打分」框架见 classifiers.ts。每个评分器定义一组带分数的选项评判模型以结构化 JSONzod schema 校验返回{ choice, reason }再映射为 0–1 分数。例如事实性评分器选项 A0.4、B0.6、C1、D0、E1幽默评分器 YES1、NO0、UNSURE0.5。createModerationScorer内容审核评分器可设threshold默认 0.5判定是否越界。createToolCallAccuracyScorer评估 Agent 工具调用的准确性见 tool-call-accuracy.ts。7.3 自定义评分器评分器通过buildScorer构建包含.score()返回分数与元数据和.reason()生成人类可读的评分理由两个环节。with-offline-evals 示例 展示了两种自定义方式确定性评分器如createKeywordMatchScorer检查输出是否包含关键词包含得 1 分否则 0 分失败时抛出带metadata的错误。LLM 评判评分器如createHelpfulnessJudgeScorer创建一个Agent作为裁判用generateObject zod schema 约束输出把score0–1与reason一并写入结果。function createKeywordMatchScorer() { return buildScorer({ id: keyword-match, label: Keyword Match }) .score(({ payload, params }) { const matched String(payload.output ?? ) .toLowerCase() .includes((params.keyword as string).toLowerCase()); return { score: matched ? 1 : 0, metadata: { keyword: params.keyword, matched } }; }) .reason(({ score, params }) ({ reason: score 1 ? Output contains the keyword ${params.keyword}. : Output does not contain the keyword ${params.keyword}., })) .build(); }在实验的scorers数组中通过buildPayload/buildParams把运行时上下文input、output、expected、item.extra等类型为ExperimentRuntimePayload适配到每个评分器所需的字段同一个实验可以混合使用启发式与 LLM 评分器——这正是原博客「混合方法」与「多指标方法」的工程化形态。threshold字段可为单个评分器设置独立通过线passCriteria则在实验级别设置整体通过标准。八、最佳实践综合数百种测试配置的经验以下实践能帮你节省时间并避开常见陷阱。8.1 评估数据集质量变异性测试集要覆盖生产环境可能遇到的整个输入分布包括简单、困难、边界和对抗性用例。只测规整问题真实用户的「曲线球」会让你措手不及。与训练数据隔离数据泄漏发生的频率远超想象任何重叠无论多轻微都会高估分数并误导决策。定期更新用户行为演变、新边界情况出现、业务需求变化评估数据也要跟着变——建议每季度刷新至少 20% 的测试用例。数据集大小并非越大越好500 个精挑细选的例子通常优于 5000 个粗糙的例子追求覆盖度与质量而非数量。8.2 多指标协同绝不要用单一指标调优每个指标都有盲区单指标调优常在别处制造问题。指标对齐目标用户满意度重要就纳入相关指标速度关键就同时追踪延迟与质量安全至上就加入专门的安全评估。关注指标分歧指标说法不一致时往往藏着最有价值的洞察——模型可能更准确但更不贴心或更有创意但更不一致。按业务影响加权明确哪些指标在具体用例中最重要并据此加权整体评估。观察指标稳定性剧烈波动的指标不足以支撑决策。8.3 定期重评估模型性能会变化今天有效的明天可能失效。安排周期性评审月度深度审查适合大多数应用观察趋势、调查异常、根据所学调整评估方法发生变更时新功能、UI 变化、用户行为变化立即复检不要等下一次例行评审定期对比新基线——你的模型可能仍胜过去年的朴素基线但能否胜过今年改进后的朴素方案8.4 文档与可复现性细致记录评估方法论测什么、为什么用这些指标、如何收集测试数据、结果如何。新成员应能仅凭文档复现并理解你的评估。版本化输出与评估数据修改时记录改了什么、为什么改这段历史在调试和观察趋势时价值连城。保证可复现用版本控制管理测试数据与评估代码必要时固定随机种子记录无法自动化的人工操作。有选择地广泛汇报工程师需要原始数据和错误信息高管只需要知道新方案是否有效及为何对公司重要。编写评估 runbook把执行评估、解决问题、依据结果做决策的逐步流程写成文档确保团队人员变动时的一致性。8.5 集成考量选择工具不只是看功能基础设施兼容性在 AWS 上运行就选与 AWS 服务集成良好的工具其他云或自建基础设施同理。团队技能功能强大但复杂的工具若团队用不好就毫无帮助考虑学习曲线与文档质量。可扩展性偶尔评估几个模型简单工具即可每天运行数千次评估则需要能承受该规模且不超预算的方案。数据隐私有些组织不能把数据发送到外部服务这排除了许多云方案。选定平台前先明确数据要求。成本结构开源工具免费但消耗工程时间商业平台有订阅费但省开发成本。要考虑总拥有成本而不只是授权费。集成 API如果需要把评估集成进 CI/CD 或其他自动化流程寻找 API 和文档良好的工具。最佳做法往往是从简单开始随需求明确再演进工具链先用开源工具做基础评估再为生产监控、高级分析等特定能力引入商业平台。记住工具只是使能者——评估最重要的部分是理解要度量什么、收集好的测试数据、并根据结果采取行动。九、LLM 评估的未来9.1 新兴指标与方法传统指标正在显露老态——LLM 越来越擅长生成类人文本简单相似度衡量意义递减。新方法聚焦语义理解、事实准确性与任务特定表现多模态评估模型处理文本、图像、音频、视频后需要能评估跨模态理解与生成质量的全新框架。推理评估不只检查最终答案而是评估推理过程本身以区分「碰巧答对」与「真正理解」的模型。安全与对齐评估模型越强大确保其安全行为、与人类价值观对齐就越关键这需要超越传统性能指标的专门方法。9.2 AI 辅助评估最有趣的趋势是用 AI 评估 AILLM-as-a-judge用一个模型评估另一个模型的输出能捕捉传统指标遗漏的细微之处又比人工评估更可扩展。挑战在于确保评估模型没有自己的偏见。VoltAgent 的create*Scorer系列正是这一思路的产品化实现——每个评分器内部都构造一个专门的评判Agent用 zod schema 约束输出兼顾扩展性与可解释性。自动红队Automated red-teaming用 AI 生成对抗性输入暴露模型弱点帮助发现人类测试者可能遗漏的边界情况和失败模式。9.3 行业趋势评估领域正在快速专业化出现专门的评估团队、标准化基准、针对模型测试的监管要求。监管合规正在推动更严格的评估需求——AI 系统处理更敏感的应用时通过系统化评估证明安全与公平正从最佳实践变成法律要求。实时评估正在成为标配——组织不再只在部署前测试而是构建持续监控与评估生产环境模型性能的系统。未来属于把评估当作核心能力而非事后补充的团队。模型只会越来越复杂风险只会越来越高拥有扎实评估基础的团队将率先胜出——现在就着手构建你的评估能力。赞分享人工智能AI AgentAgent 框架后端多智能体RAG工具调用Agent 记忆【免费下载链接】voltagentAI Agent Engineering Platform built on an Open Source TypeScript AI Agent Framework项目地址https://gitcode.com/gh_mirrors/vo/voltagent点击查看免费下载相关推荐Agent-Skills-for-Context-Engineering 生产级 LLM 评估流水线架构实战指南Agent Skills for Context Engineering 生产级 LLM 评估流水线架构实战指南 本篇技术指南以 Agent Skills fo人工智能AI 技能提示工程AI 评测VoltAgent Evals 实验编排指南用 voltagent/evals 构建离线回归评测流水线VoltAgent Evals 实验编排指南用 voltagent/evals 构建离线回归评测流水线 VoltAgent 的 voltagent/eva人工智能AI AgentAgent 框架后端多智能体RAG工具调用Agent 记忆Agent 工作流AI 评测MCP 服务MCP Clients语音72小时构建LLM持续评估流水线lm-evaluation-harness与Jenkins实战指南72小时构建LLM持续评估流水线lm evaluation harness与Jenkins实战指南 在大语言模型 Large Language Model 快人工智能模型评测AI 评测上一篇Johnny-Five 双 H 桥电机驱动实战用 Motors 集合同时控制两个直流电机下一篇RVC 语音转换入门全指南10 分钟搭好本地 AI 变声工具创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考