把 skillgrade 接入 GitHub Actions：设置 --ci 阈值、自动拦截技能回归的完整部署教程

【免费下载链接】skillgradeUnit tests for your agent skills项目地址https://gitcode.com/gh_mirrors/sk/skillgrade点击查看免费下载skillgrade 是一款为 Agent Skills 编写单元测试的开源评测工具它能验证 AI Agent 是否正确发现并使用了你的技能。本教程将带你把它接入 GitHub Actions通过--ci模式和--threshold阈值设置在技能质量回归时自动让流水线失败实现一键拦截。为什么需要 CI 拦截技能回归 Agent 技能SKILL.md和 Prompt 一样是软代码——改一行描述行为可能就变了。skillgrade 把每次技能运行当作一次测试trial由确定性 grader 和 LLM 评分 rubric 打分最终算出 pass rate。核心机制在 src/commands/run.ts 中实现每次评测完成后skillgrade 将 pass rate 与阈值比较任一任务低于阈值进程退出码变为非零并打印CI FAILED达到阈值则打印CI PASSED流水线继续放行这意味着技能回归 流水线红叉和传统的单元测试拦截逻辑完全一致。部署前准备3 项检查清单检查项说明Node.js 20skillgrade 的运行前提API Key如GEMINI_API_KEYCI 中需存入 Secretseval.yaml技能的评测配置含 tasks 与 graders如果还没有评测配置进入技能目录必须包含SKILL.md后执行GEMINI_API_KEYyour-key skillgrade init生成的eval.yaml中有一个与本文密切相关的字段——thresholddefaults: agent: gemini provider: docker trials: 5 timeout: 300 threshold: 0.8 # for --ci mode完整字段说明见 skills/skillgrade-setup/references/eval-yaml-spec.md一个真实可运行的示例在 examples/superlint/eval.yaml。一键部署 GitHub Actions 工作流在仓库中创建.github/workflows/skillgrade.yml官方提供的完整模板见 skills/skillgrade-setup/references/ci-example.mdname: Skill Evaluation on: push: branches: [main] pull_request: jobs: eval: runs-on: ubuntu-latest steps: - uses: actions/checkoutv4 - uses: actions/setup-nodev4 with: node-version: 20 - name: Install skillgrade run: npm i -g skillgrade - name: Run evaluations env: GEMINI_API_KEY: ${{ secrets.GEMINI_API_KEY }} run: | cd skills/my-skill skillgrade --regression --ci --providerlocal这条命令是 CI 场景的黄金组合逐个拆解参数作用--regression跑 30 次 trial高置信度回归检测--ci低于阈值时退出码非零让 Job 失败--providerlocal直接在 runner 上运行 为什么 CI 里用--providerlocal而不是默认的 docker官方建议见 README.md 的 CI Integration 章节GitHub Actions 的 runner 本身就是临时沙箱再套一层 Docker 只会增加开销。本地开发时建议保留 docker以保护你的机器不受实验性技能影响。⏱ 注意--regression是 30 次 trial耗时会明显高于开发期的--smoke5 次。如果想更快出结果可以用--parallelN并发跑 trial。设置 --ci 阈值命令行与 eval.yaml 两种写法阈值决定多少分算合格skillgrade 提供了两种设置方式优先级为命令行 配置文件见 src/skillgrade.ts 中的解析逻辑。方式一写在 eval.yaml推荐随代码版本化defaults: threshold: 0.8 # 默认 0.8即 80%方式二命令行临时覆盖skillgrade --ci --threshold0.9 # 本次运行要求 90%阈值语义是pass_rate threshold才算通过源码中只要pass_rate threshold就判定 CI FAILEDsrc/commands/run.ts。多个任务时任何一个任务低于阈值都会导致整体失败。 新手建议新技能先用默认 0.8 跑几轮观察稳定的 pass rate 分布后再逐步把阈值调到略低于历史最高值避免永久红灯。把评测报告上传为构建产物失败时你需要证据不只是红叉。给工作流追加一个上传步骤if: always()保证失败时也上传- name: Upload eval reports if: always() uses: actions/upload-artifactv4 with: name: skillgrade-reports path: skills/my-skill/results/配合--outputDIR可以把报告固定到指定目录方便 artifact 收集。拿到报告后本地可用skillgrade preview browser在http://localhost:3847打开交互式网页逐条查看每个 trial 的评分与 Agent 会话日志上图中 98.0% 的 PASS RATE 若低于你设定的 0.9 阈值--ci就会让这次构建失败——这正是拦截机制的直观体现。验证部署是否成功✅ 部署完成后的自检步骤绿场验证技能状态良好时Job 应输出CI PASSED above threshold 80%并显示绿色红场验证故意把threshold临时改成1.01或直接--threshold1.01确认 Job 确实变为红色、artifact 中存有完整报告查看退出码逻辑CI 模式下失败会以CI check failed错误抛出src/commands/run.ts无需额外配置 exit code 处理⚠️ 两个常见坑No API key 报错确认 Key 是通过env注入到评测命令所在的 step而不是在别的 step 里设置评测卡死--providerlocal下若 runner 网络受限Agent 的 API 调用会超时可加大 eval.yaml 中的timeout总结步骤命令 / 配置安装npm i -g skillgrade本地冒烟skillgrade --smokeCI 核心命令skillgrade --regression --ci --providerlocal阈值eval.yaml 的defaults.threshold或--threshold0.8至此你的 Agent 技能拥有了真正的单元测试门禁每次 push 和 PR 自动跑 30 次 trialpass rate 跌破阈值即拦截合并。技能质量从此从凭感觉变成看数据 赞分享【免费下载链接】skillgradeUnit tests for your agent skills项目地址https://gitcode.com/gh_mirrors/sk/skillgrade点击查看免费下载相关推荐跨平台安卓设备控制方案Escrcpy技术实践指南跨平台安卓设备控制方案Escrcpy技术实践指南 Escrcpy是一款基于Scrcpy开发的图形化安卓设备控制工具为开发者和技术爱好者提供了高效的跨平台屏幕桌面应用移动开发开发工具Android Showcase 终极CI/CD指南GitHub Actions自动化部署完整教程Android Showcase 终极CI/CD指南GitHub Actions自动化部署完整教程 Android Showcase是一个生产就绪的Andro移动开发原生移动示例工程黑苹果EFI配置革命OpCore-Simplify如何让复杂配置变得简单黑苹果EFI配置革命OpCore Simplify如何让复杂配置变得简单 还在为黑苹果繁琐的配置过程而头疼吗OpCore Simplify作为一款创新的黑苹开发工具CLI上一篇解决ComfyUI-Impact-Pack模块导入问题的终极指南从安装到调试下一篇MusicFree音乐播放器字体显示异常问题分析与解决方案创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考