首页/新闻资讯/正文详情

指令遵循度评测

发布时间:2026/11/5 1:40:38 来源:云帆数科 栏目:资讯中心
指令遵循度评测
大模型生成内容的「指令遵循度评测」核心是验证输出的周报是否完整、准确地落地了提示词中的全部要求同时兼顾与输入文档的事实一致性。下面从评测维度、人工评测方案、自动化评测方案、落地流程四个层面系统说明。一、核心评测维度先统一标尺先把提示词中的所有要求拆解为4类可校验的维度所有评测都基于此展开硬性指令覆盖度核心项提示词中明确要求「必须包含/必须做到」的内容属于一票否决级的P0项。比如必须包含的模块本周进展/下周计划/风险、必须覆盖的项目/数据、必须输出的结论等。约束规则合规度红线项提示词中明确「禁止/不能」的要求违反即视为未按提示词生成。比如禁止编造文档外的信息、禁止超字数、禁止出现敏感信息、禁止口语化表达等。格式规范符合度形式项提示词中对呈现形式的要求。比如Markdown标题层级、表格/分点格式、字数范围、语气风格、落款要求等。源文档忠实度基础项提示词几乎都会隐含「基于输入文档生成」的要求需验证周报内容是否全部可追溯到原文档无幻觉、无杜撰。二、人工评测方案高精度、适合小批量验收人工评测是最准确的基准方案适合最终验收、校准自动化评测标准核心是拆解为可逐条校验的Checklist。1. 第一步拆解提示词生成评测校验清单把提示词的每一条要求转化为「非黑即白、无歧义」的校验项按优先级分级。示例对应某周报提示词优先级类型校验项判定标准P0必须通过指令项包含「本周工作进展」模块周报中存在对应板块P0指令项工作进展覆盖A、B、C三个项目三个项目均有对应进度描述P0禁止项无文档未提及的进度数据所有数据均可在原文档中找到依据P0格式项三大模块使用二级标题##对应标题前有##标记P1优化项指令项结尾包含整体总结最后有一段整体评价P1格式项总字数300-500字字符数落在区间内2. 第二步评分与定级逐条校验后按以下标准定级完全符合所有P0项全部满足P1项满足≥80%无任何红线违规基本符合所有P0项全部满足P1项有少量缺失无核心违规部分符合1-2项P0未满足无严重禁止项违规不符合≥3项P0未满足或存在编造信息等严重红线违规三、自动化评测方案高效率、适合大批量迭代如果需要高频迭代提示词、批量验证生成效果推荐「规则校验 LLM-as-Judge大模型裁判」的组合方案。1. 规则自动化校验硬指标100%准确针对可通过程序直接判断的要求用脚本批量校验零误差、速度快。可覆盖的校验场景关键词/模块校验用正则匹配验证是否包含指定的标题、项目名、必现词汇格式校验检测Markdown标题层级、表格符号、分点符号是否符合要求字数校验统计字符数/词数是否在指定区间禁用词校验检测是否出现禁止的词汇、敏感内容结构校验段落数量、模块顺序是否符合要求2. LLM-as-Judge 大模型裁判语义级校验业界主流方案针对需要语义理解的复杂要求比如是否覆盖了项目核心进度、内容是否基于原文档、语气是否符合商务风格用更强的大模型作为“裁判”自动输出评分和问题点。核心评测Prompt模板可直接复用【角色】你是严谨的文档合规评测专家仅基于给定材料客观评测不额外补充信息。 【评测目标】判断生成的周报是否100%遵循了原始提示词的所有要求。 【输入材料】 1. 原始提示词 {prompt_text} 2. 输入源文档 {source_doc} 3. 待评测周报 {weekly_report} 【评测步骤与规则】 1. 先完整拆解原始提示词中的全部要求分为「必须执行项」「禁止项」「格式规范项」三类。 2. 逐一对待评测周报进行校验列出所有未满足的要求写明具体问题和对应位置。 3. 按4个维度独立打分满分100分60分为合格 - 指令覆盖度40分必须项满足比例缺1项扣对应分值 - 约束合规性30分违反1项禁止项扣10分扣完为止 - 格式规范度15分格式、结构、语气的符合程度 - 事实忠实度15分内容是否全部来自源文档无杜撰 4. 给出最终合格结论。 【输出要求】 严格输出JSON格式不要任何额外解释 { 维度得分: { 指令覆盖度: 数字, 约束合规性: 数字, 格式规范度: 数字, 事实忠实度: 数字 }, 总分: 数字, 违规项清单: [ {指令原文: xxx, 问题描述: xxx, 严重等级: 高/中/低} ], 是否合格: 是/否 }优化技巧用能力更强的大模型作为裁判比如用大参数模型评测小模型生成结果准确率更高加入1-2个「正确示例错误示例」的Few-Shot统一裁判的打分尺度对事实忠实度要求高的场景可额外搭配「向量检索校验」把周报拆成单句在源文档向量库中检索匹配度低于阈值则判定为疑似编造四、完整的评测落地流程构建评测集挑选5-20组覆盖不同场景的「文档提示词」样本作为固定测试集方便每次迭代对比效果初筛规则校验批量跑规则脚本快速过滤格式、字数等低级问题精评LLM裁判对通过初筛的样本跑大模型评测输出得分和问题清单校准人工复核对不合格样本、边缘分数样本55-65分进行人工复核修正裁判偏差统计迭代统计整体合格率、高频违规项针对性优化提示词、模型参数或生成流程再回归测试五、关键注意事项先优化提示词本身如果提示词存在歧义、模糊表述比如“写得专业一点”评测标准会无法对齐。评测前先把提示词改写为可量化、可验证的表述。事实忠实度是重灾区多数“没按提示词生成”的问题本质是模型编造了文档外的信息建议把该项作为最高优先级的校验项。避免唯分数论总分只是参考一定要拆解到具体违规项才能定位是提示词问题还是模型能力问题。

相关推荐

内存快用满了?Mem Reduct 帮你免费把 10%–50% 的 Windows 缓存还回来
内存快用满了?Mem Reduct 帮你免费把 10%–50% 的 Windows 缓存还回来

内存快用满了?Mem Reduct 帮你免费把 10%–50% 的 Windows 缓存还回来 【免费下载链接】memreduct Lightweight real-time memory management application to monitor and clean system memory on your computer. 项目地址: https://gitcode.com/gh_mirrors/me/me… · 2026/11/5 1:40:38

xss和CSRF的攻击和防御
xss和CSRF的攻击和防御

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/5 1:40:38

具身智能“感知-行动”双向闭环研究(3):TVA-VLA架构与VLA或World模型的比较研究
具身智能“感知-行动”双向闭环研究(3):TVA-VLA架构与VLA或World模型的比较研究

前沿技术探索:TVA智能体(简称TVA) TVA智能体(Transformer-based Vision Agent)是依托Transformer架构与“因式智能体”理论构建的新型工业视觉系统,也是当前最具代表性的具身视觉技术之一。它有机融合深度强化学习(DRL)、卷积神经网络(CNN)与因式分解算法(FRA),构… · 2026/11/5 1:39:37

CMake 实战指南:从基础语法到静态库/动态库制作与链接
CMake 实战指南:从基础语法到静态库/动态库制作与链接

目录 1. CMAKE 的基本使用 1.1 注释1.2 使用 set 命令在 cmake 中进行变量的定义1.3 CMAKE 中设置 C 标准1.4 可执行文件的输出路径1.5 文件的查找1.6 头文件的引入 2. 制作动态库和静态库 2.1 指定库文件的输出路径 3. 包含库文件 3.1 链接系统动态库 4. 总结与经典面试题 4.… · 2026/11/5 5:29:08

揭秘iOS自动化测试全流程:从零搭建到实战应用
揭秘iOS自动化测试全流程:从零搭建到实战应用

这是一篇关于iOS App自动化测试的文章, 内容是讲从环境搭建到实际应用的全过程, 里面用的是框架, 作者是01.17 23:32发布, 浏览量是80。简介部分说明了文章的主要目的, 那就是向大家展示如何利用相关工具以及指定的那个框架来解决iOS应用程序里的自动化测试问题。整个内容安排是… · 2026/11/5 5:29:08

130万人围观的“电视偷听“,我把证据逐条核了一遍
130万人围观的“电视偷听“,我把证据逐条核了一遍

先讲事情本身。 一个网名 log4j 的安全爱好者,觉得自己2025款三星电视推的广告准得发毛,决定拆开看看。他撬开了 root 权限,在系统里翻出一堆东西:一个叫 alwaysonvoice(常驻语音)的服务、能分清狗叫和婴儿… · 2026/11/5 5:29:08

【资源自取】CraxsRat 7.4V3 远程控制工具使用指南:三步装好,连上你的远程桌面
【资源自取】CraxsRat 7.4V3 远程控制工具使用指南:三步装好,连上你的远程桌面

【资源自取】CraxsRat 7.4V3 远程控制工具使用指南:三步装好,连上你的远程桌面 CraxsRat 7.4V3 是一款远程控制工具(远控,即远程访问并操作另一台电脑的客户端),本仓库提供 7.4V3 版本的完整资源文件。如果… · 2026/11/5 5:29:08

华为校招机考真题 AI方向 2026-10-14 选择题【真题及答案解析】
华为校招机考真题 AI方向 2026-10-14 选择题【真题及答案解析】

华为校招&实习机试在线OJ刷题系统 | 在线OJ注册使用教程 1、某 Transformer 层在张量并行度为 2 时要做一次 All-Reduce,待同步张量大小为 80MB。网络带宽为 40GB/s,忽略延迟,通信时间约为多少? A. 0.2ms B. 20… · 2026/11/5 5:29:08

FDE如何从一个陌生行业中,找到10个值得落地的AI场景?
FDE如何从一个陌生行业中,找到10个值得落地的AI场景?

从行业研究、业务流程拆解到场景评估,一套可复用的企业AI机会发现方法论 作者|FDE前线 当AI Agent、RAG、工作流自动化等技术逐渐成熟,企业AI落地的一个重要问题正在发生变化:技术人员已经能够较快地搭建应用原型,但… · 2026/11/5 5:28:05

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 3:16:49

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 6:59:29

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 7:02:38

多智能体协作系统架构设计与实践优化
多智能体协作系统架构设计与实践优化

1. 多智能体协作系统的时代背景2017年Transformer架构的诞生彻底改变了人工智能的发展轨迹。当行业还沉浸在单一大模型带来的性能突破时,Anthropic的研究团队已经将目光投向了更前沿的领域——如何让多个智能体通过协作产生超越单体能力的系统智能。这就像交响乐团中… · 2026/11/5 0:00:39

大模型系统性入门实战指南:从原理到部署微调的全链路路线
大模型系统性入门实战指南:从原理到部署微调的全链路路线

提到大模型的系统性入门,我先说个结论:这事真不难,难的是资料太散、路线太多,今天这个框架明天那个工具,新人很容易在“收藏夹吃灰”和“教程看到一半放弃”之间反复横跳。市面上关于大模型的内容少说有几十万篇&#… · 2026/11/5 0:00:39

鸿蒙文件系统沙箱机制解析与开发实践
鸿蒙文件系统沙箱机制解析与开发实践

1. 鸿蒙文件系统沙箱机制深度解析作为一名从Android转向鸿蒙开发的工程师,我深刻体会到文件系统访问是迁移过程中最先遇到的"拦路虎"。在Android上运行良好的文件读写代码,在鸿蒙真机环境却频频出现文件写入后神秘消失或直接抛出权限拒绝错误的… · 2026/11/5 0:00:39

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 3:16:49

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 6:59:29

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 7:02:38

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码