OpenCompass 使用 LawBench 评测本地模型教程：TaoToken 统一 Key 接入与 config.toml 配置骨架

1. 本地模型跑 LawBench为什么总卡在“配置”这一步如果你手里有一台带显卡的机器想用 OpenCompass 给本地模型做一次法律能力评测大概率会遇到两个拦路虎一是 LawBench 数据集没被整合进 OpenCompass 官方数据包得手动搬二是模型接入方式五花八门本地权重、远程 API、不同厂商的 Key 各管各的配置文件写到最后自己都记不清哪个 Key 对应哪个模型。这篇就聚焦“本地模型 LawBench OpenCompass”这条链路把可复制的config.toml骨架和统一 Key 接入方式讲清楚。适合已经装好 OpenCompass、想快速复现法律评测的读者。核心检索词就三个OpenCompass、LawBench、本地模型评测。我会先给配置骨架再给一条最小评测命令验证跑通最后把常见报错逐个拆掉。需要说明的是LawBench 本身是法律领域的中文评测集覆盖法条理解、案情分析等任务zero_shot 和 one_shot 两种设定。OpenCompass 负责调度模型、喂数据、收结果。两者拼起来你就能得到一份本地模型在法律场景下的能力画像。2. TaoToken 统一 Key把多模型接入收敛成一个入口本地模型评测时很多人会同时挂几个模型做对比一个本地 Qwen一个远程 API 模型可能还有别的。每个模型一套 Key、一套 base_url配置文件里散落各处改一个忘一个。TaoToken 在这里的作用是提供一个统一的 API 入口把不同模型的调用收敛到同一个 Key 和同一个 base_url 上。你只需要在配置里写一次地址和 Key切换模型时改模型名就行。官网地址是 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content API 入口是 https://taotoken.net/api 注意 API 地址不带 UTM 参数。具体操作上先去控制台创建 API Key控制台入口https://taotoken.net/console?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_contentAPI Keys 管理https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content拿到 Key 之后先别急着写进 OpenCompass用模型对话页面确认这个 Key 能正常调通模型对话https://taotoken.net/model-chat?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content这一步很关键。我见过太多人 Key 复制多了个空格、或者 base_url 写错结果在 OpenCompass 里报 401回头排查半天。先在对话页面发一条消息能返回内容说明 Key 和地址都没问题。如果你后续要长期跑编码类或 Agent 类任务可以了解下 Coding PlanCoding Planhttps://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content接入文档在这里配置字段有疑问可以对照接入文档https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content3. 可复制的 config.toml 配置骨架OpenCompass 的模型配置支持 Python 文件也支持通过config.toml做统一管理。下面这份骨架是我实测下来比较顺手的结构把 TaoToken 的统一 Key 和本地模型分开管理避免混在一起。# config.toml # TaoToken 统一接入配置 [taotoken] base_url https://taotoken.net/api api_key sk-你的TaoToken密钥 timeout 120 # 本地模型配置 [local_model] model_path /home/yourname/opencompass/Qwen2 tokenizer_path /home/yourname/opencompass/Qwen2 max_out_len 1024 batch_size 1 num_gpus 1 # 评测任务配置 [evaluation] dataset lawbench shots [zero_shot, one_shot] work_dir ./outputs/default对应的模型配置文件configs/models/qwen/hf_qwen2.py可以这样写把本地路径和 TaoToken 的远程模型分开from opencompass.models import HuggingFaceBaseModel, OpenAI # 本地模型 local_models [ dict( typeHuggingFaceBaseModel, abbrqwen2-local, path/home/yourname/opencompass/Qwen2, tokenizer_path/home/yourname/opencompass/Qwen2, max_out_len1024, batch_size1, run_cfgdict(num_gpus1), ) ] # 通过 TaoToken 接入的远程模型 api_models [ dict( typeOpenAI, abbrtaotoken-model, pathgpt-4o-mini, keysk-你的TaoToken密钥, openai_api_basehttps://taotoken.net/api, max_out_len1024, batch_size1, ) ] models [*local_models, *api_models]这里有个细节path字段在本地模型里是权重路径在 API 模型里是模型名。openai_api_base填 TaoToken 的 API 地址注意不要带 UTM 参数否则可能被当成路径的一部分。数据集配置文件configs/eval_qwen2.py保持和官方示例一致from mmengine.config import read_base with read_base(): from .datasets.lawbench.lawbench_zero_shot_gen_002588 import lawbench_datasets as zero from .datasets.lawbench.lawbench_one_shot_gen_002588 import lawbench_datasets as one from .models.qwen.hf_qwen2 import models datasets [*zero, *one]LawBench 数据集需要手动放到./data/lawbench下目录结构是one_shot和zero_shot两个子文件夹。如果你还没下载在 opencompass 目录执行git clone https://gitee.com/ljn20001229/LawBench.git mkdir -p ./data/lawbench cp -r ./LawBench/data/one_shot ./data/lawbench cp -r ./LawBench/data/zero_shot ./data/lawbench4. 最小评测命令与成功结果验证配置写好后先别急着跑全量。用一条最小命令验证链路是否通python run.py configs/eval_qwen2.py --debug--debug会打印详细日志方便定位问题。如果只想先跑一个子集可以在配置里临时把datasets缩减成只保留 zero_shot 的一个任务。跑通后结果会保存在./outputs/default/{时间戳}/predictions下。你会看到类似这样的目录outputs/default/20250101_120000/ ├── logs │ └── eval_qwen2.log ├── predictions │ └── qwen2-local │ └── lawbench_zero_shot.json └── results └── summary.jsonsummary.json里会有每个任务的得分。如果看到分数正常输出说明本地模型、LawBench 数据集、TaoToken 接入这三段都通了。验证 TaoToken 远程模型是否生效可以单独跑一个 API 模型的配置观察日志里是否有请求返回。如果返回 401优先检查 Key 是否有多余空格如果返回 404检查openai_api_base是否写成了带路径的形式。5. 本篇常见错排查5.1 数据集路径找不到报错信息通常是FileNotFoundError: ./data/lawbench/zero_shot。原因是 LawBench 数据集没放对位置。确认./data/lawbench下直接是one_shot和zero_shot而不是多套了一层LawBench/data。5.2 模型加载显存不足Qwen2-1.5B 大约占 8G 显存如果报 CUDA out of memory把batch_size降到 1或者换更小的模型。run_cfgdict(num_gpus1)确保只占一张卡。5.3 TaoToken 请求超时timeout设成 120 秒通常够用。如果还是超时检查网络是否能访问https://taotoken.net/api。注意 API 地址不要带 UTM 参数带参数的地址可能被服务端拒绝。5.4 配置文件导入报错from .models.qwen.hf_qwen2 import models这行要求configs/models/qwen/下有__init__.py没有的话手动建一个空文件。另外确认eval_qwen2.py和models目录在同一层级。5.5 评测结果为空如果predictions文件夹是空的先看logs里的日志。常见原因是数据集读取程序里的字段和模型输出格式对不上这时候需要检查lawbench_zero_shot_gen_002588.py里的pred_postprocessor配置。6. 接入与排障的下一步如果你在配置 TaoToken 统一 Key 时遇到字段问题直接对照接入文档最快接入文档https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_contentAPI Keyshttps://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content想先验证模型能不能正常对话用模型对话页面发一条消息即可模型对话https://taotoken.net/model-chat?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content长期跑编码或 Agent 评测任务的话Coding Plan 会更省心Coding Planhttps://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content最后提醒一句LawBench 的 one_shot 和 zero_shot 结果差异可能比较大建议两个都跑一遍再对比。本地模型如果显存吃紧优先跑 zero_shot等链路稳定了再补 one_shot。