如何用Bespoke-Nimble-9B实现高准确率布尔分类：从提示构建到概率输出全解

如何用Bespoke-Nimble-9B实现高准确率布尔分类从提示构建到概率输出全解【免费下载链接】Bespoke-Nimble-9B项目地址: https://ai.gitcode.com/hf_mirrors/bespokelabs/Bespoke-Nimble-9BBespoke-Nimble-9B 是一个基于 Qwen3.5-9B 的布尔分类 LoRA 适配器它不生成推理文本而是直接对候选答案词元打分一次输出是/否结论与对应的概率分布在 324 条未见过的评测样本上布尔分类准确率达到 98.2%。本文面向新手带你从下载、加载到提示构建、概率输出解读完整跑通这套高准确率布尔分类流程。为什么布尔分类需要概率输出普通大模型回答是/否问题时往往输出一段自由文本程序还得二次解析也无法衡量置信度。Bespoke-Nimble-9B 的思路完全不同答案空间被限定为少数候选词元——布尔问题就是false与true两个模型只计算这些候选词元在答案边界处的 logits再做 softmax概率最高者即为预测同时完整返回各候选的概率分布。好处是结果稳定、可被程序直接消费概率值本身还能用于置信度过滤和风险分级。核心评分逻辑见 inference.py 中的candidate_logits与decision_result函数。三步上手下载、安装与加载模型第一步获取模型文件git clone https://gitcode.com/hf_mirrors/bespokelabs/Bespoke-Nimble-9B nimble-model仓库内的 adapter_model.safetensors 约 165 MiB是 LoRA 适配器权重另外还需要 Qwen3.5-9B 基座模型仓库不重复存放完整基座权重。第二步安装依赖依赖在 requirements.txt 中固定了版本PyTorch 2.8.0、transformers 5.17.0、peft 0.21.0 等请安装支持 CUDA 12.8 的 PyTorch 版本pip install -r nimble-model/requirements.txt⚠️ 参考运行器要求CUDA GPU BF16支持加载时会强制检查不满足直接报错见 inference.py。第三步加载并打分NimbleModel封装了加载 提示构建 概率计算全过程inference.pyimport sys sys.path.insert(0, nimble-model) from inference import NimbleModel model NimbleModel(nimble-model) result model.score( contextThe store accepts returns within 30 days. This item was bought 12 days ago., schema{ eligible: { type: boolean, description: Is this item within the store return window? } }, ) print(result[output]) # {eligible: True} print(result[fields][eligible][probabilities]) # false/true 两个概率注意加载时会校验提示构建代码的 SHA256 指纹确保运行环境与训练时完全一致inference.py无需trust_remote_code。提示构建全解Schema 如何变成单字母答案布尔字段 Schema 怎么写一个布尔字段只需type: boolean加一段description模型会在 false 与 true 之间二选一。选项型enum与评分字段如[0, 1, 2]的写法见 README.md。提示为什么只要求输出一个字母prepare_prompts会把你的 context 与 schema 渲染成 JSON 交给模型并给每个选项分配单字母代号A、B、C…每个字段最多 26 个选项布尔字段中 A 对应 falseB 对应 true。系统提示明确要求只返回所选字母代号不输出任何推理或解释parallel_schema.py。这种单字母答案设计有两道护栏均在 parallel_schema.py 中强制执行长度护栏提示超过 2048 个词元直接报错绝不静默截断上限与任务契约见 schema_config.json词元护栏每个字母代号必须在答案边界处恰好编码为 1 个普通词元且互不重复否则报错退出——这保证了 logits 与选项严格一一对应。概率输出全解true/false 概率怎么读score()返回两部分output每个字段的最终预测布尔字段为True/Falsefields.字段名.probabilities各候选选项的 softmax 概率总和为 1。对布尔字段probabilities固定包含false与true两项代码中还会单独给出probability_trueinference.py。拿到概率后你可以直接消费预测值写入下游业务系统用概率做置信度门槛例如true概率低于 0.9 时转人工复核借助评测集中的 NLL / Brier 分数理解校准度——Brier 越低概率输出越可信。实测数据布尔分类准确率为什么能到 98.2%官方在 324 条未见过的评测样本上做了三方对比完整数据见 evaluation_summary.json模型布尔分类准确率总体准确率未微调基座Fresh 9B83.3%66.0%上一代 9B 适配器95.6%84.0%本仓库适配器98.2%90.1%在另外新增的 224 条样本上布尔分类更是 80/80 全对 ✅。支撑这一结果的是约 2676 行、覆盖 34 个业务家族的训练数据training_summary.json采用 LoRA rank 16、学习率 5e-5、BF16 精度训练具体参数可查 adapter_config.json 与 schema_config.json。新手常见问题问仓库里为什么只有 165 MiB 的适配器答这是 LoRA 微调的权重增量需配合 Qwen3.5-9B 基座使用provenance.json 与 SHA256SUMS 提供了逐文件校验和方便验证完整性。问提示超过 2048 个词元会怎样答直接抛出错误拒绝处理不会静默截断——保证输入分布与训练完全一致。问能输出解释或推理过程吗答不能也不应。该工作流被刻意设计为只打分的分类器推理文本会破坏概率口径。问License 允许商用吗答适配器采用 Apache 2.0 许可LICENSE可自由商用同时请注意基座模型自身的许可条款。关键文件导航文件说明README.md官方使用文档与加载示例inference.py参考推理代码NimbleModel 打分器parallel_schema.py提示构建与 Schema 校验逻辑schema_config.json任务契约基座版本、提示指纹、长度上限training_summary.json训练超参与数据来源evaluation_summary.json三组模型评测对比adapter_config.jsonLoRA 参数rank 16、alpha 32chat_template.jinja / tokenizer.json对话模板与分词器一句话总结把是/否问题交给 Bespoke-Nimble-9B你拿到的不只是答案还有一份可直接用于置信度判断的概率分布——这正是它在自动化审核、规则校验等场景里高准确率且可落地的原因。【免费下载链接】Bespoke-Nimble-9B项目地址: https://ai.gitcode.com/hf_mirrors/bespokelabs/Bespoke-Nimble-9B创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考