openjev：把 Qwen3.5 训练成 NLI 交叉编码器，用“蕴含判断”统一实现决策、重排、判分与游戏控制

openjev把 Qwen3.5 训练成 NLI 交叉编码器用“蕴含判断”统一实现决策、重排、判分与游戏控制openjev 是一个将 Qwen3.5 系列0.8B / 2B / 4B / 35B-A3B MoE训练为 3 分类 NLI 交叉编码器的开源项目一个模型同时读入 premise前提与 hypothesis假设输出 entailment / contradiction / neutral 三个类别的概率。本文以仓库根目录 README.md 为主体结合 RESULTS-v5.md 与code/下的源码完整介绍其核心概念、v5 版本在 JevBench 上的“类型化决策”结果、确定性保证、已知弱点以及 transformers / SGLang 两种加载与部署方式。读完本文你将掌握如何用OpenJev.decide对封闭选项集做概率化决策如何用predict / rerank / grade完成文本蕴含判断、重排与参考答案判分以及如何把 checkpoint 挂到 SGLang 上获得 1.53 倍吞吐。openjev 的核心思想一个原语多种任务README 用一句话定义了项目目标openjev 是把 Qwen3.5 变成一个 jev 模型——单个 cross-encoder读入 premise 和 hypothesis回答蕴含 / 矛盾 / 中立。这个单一原语就足够完成重排答案rerank把问题作为 premise把候选答案格式化成 hypothesis蕴含概率最高的候选胜出对照参考答案判分gradepremise 为“问题 参考答案”hypothesis 为待评答案内容把关guard把待审查的动作 / 命令作为 premise 的一部分判定其是否符合策略实时玩游戏agents把游戏状态与若干关于状态的陈述交给模型argmax 蕴含结果就是动作。关键设计在于Nothing is trained per task所有能力来自同一个 NLI 判读原语任务本身不需要单独训练。从源码看这一设计体现在 modeling_openjev.py 的OpenJevCrossEncoder上它包装Qwen3_5ForSequenceClassification输入是模板字符串Premise: {premise}\nHypothesis: {hypothesis}模板存放在config.nli_template缺省时使用DEFAULT_TEMPLATE输出是 last non-pad token 的隐状态经过线性score头得到的三个 logits标签顺序为 dleemiller 约定0 contradiction、1 entailment、2 neutral训练损失为三类交叉熵。版本矩阵与模型加载仓库根目录下直接提供了多个 Hugging Face checkpoint 目录README 的Whats inside一节给出了完整清单目录说明qwen3.5-0.8b-nli-v2s-long/小尺寸 v2s checkpoint0.8B4k 上下文v2 混合数据 忠实性 / 指令遵循 / 虚假前提数据 长文档阶段MNLI 86.2/87.1、ANLI r1 65.1、SciTail 93.2、RAGTruth AUROC 0.90、LLM-AggreFact avg bAcc 69.5也是 demo Space 提供的模型qwen3.5-4b-nli-v5/类型化决策推荐版本4B v5附带panel_manifest.json列出训练用过的每个数据集 splitqwen3.5-4b-nli-v2/4B v2 jev checkpoint文本 图像对应 Doom / Minecraft 视频与 radar 图qwen3.5-4b-nli/最初的 4B jev checkpoint纯文本qwen3.5-35b-a3b-nli/35B-A3B MoE jev checkpoint需配合 modeling_qwen35_moe_seqcls.py 加载所有 checkpoint 统一为Qwen3_5ForSequenceClassification3 个标签contradiction、entailment、neutrallast-token pooling三类交叉熵训练。最简加载方式transformers 原生from transformers import AutoModelForSequenceClassification, AutoTokenizer sub qwen3.5-4b-nli-v5 # or qwen3.5-2b-nli-v5, qwen3.5-0.8b-nli-v5 tok AutoTokenizer.from_pretrained(AlexWortega/openjev, subfoldersub) model AutoModelForSequenceClassification.from_pretrained(AlexWortega/openjev, subfoldersub) text model.config.nli_template.format(premise..., hypothesis...)从 modeling_openjev.py 的实现看OpenJevCrossEncoder的初始化会自动处理几个工程细节无 pad token 时以 eos 充当 padpadding_side固定为right因为 score 头取的是最后一个非 pad tokenpad_token_id同步到文本 config默认bs32、max_len4096、dtypetorch.bfloat16。openjev-4B v5类型化决策typed decisionsqwen3.5-4b-nli-v5/是 README 重点推荐的 checkpoint专门用于类型化决策把 state 和一组带判据rubric的封闭选项交给模型返回每个选项的概率。实现上每个选项做一次前向one forward pass per option不做任何生成因此分布就是模型自己的 softmax且答案不依赖选项的先后顺序。OpenJev.decide 的使用方式仓库提供了开箱即用的决策包装器 code/openjev_decide.pyOpenJev类实现了from_pretrained与decide两个核心入口from openjev_decide import OpenJev # code/openjev_decide.py jev OpenJev.from_pretrained(AlexWortega/openjev, subfolderqwen3.5-4b-nli-v5, devicecuda) jev.decide(Policy: refunds require a receipt and purchase within 30 days. The customer bought 12 days ago but has no receipt., [{type: noul, instructions: Under the stated policy, is a refund permitted?, options: [no, yes]}]) # - [{noul: 0.07}] — the probability of yes每个question由三部分组成typenoul/choice/score、instructions、options。底层实现code/openjev_decide.py会把选项格式化为The answer to {instr} is {label}: {crit}这样的 hypothesis与 state 组成 pair 交给OpenJevCrossEncoder.predict取 entailment 列再对选项做归一化得到分布noul类型返回{noul: P(yes)}其余类型返回{probabilities: {label: p}}。值得注意的工程细节超长 state 不截断而是分窗WINDOW_CHARS 24_000超过一个窗口的状态按窗口滑动打分最终probs.max(0)——任一窗口支持该声明即视为文档支持code/openjev_decide.pyrubric 解析JevBench 适配器会把判据追加到 instructions 尾部以\nAllowed answers and rubric: 分隔JSON 格式_rubric负责把它拆回选项与判据code/openjev_decide.py环境变量JevBench 适配器固定请求devicecpu宿主可通过OPENJEV_DEVICE/OPENJEV_DTYPE覆盖code/openjev_decide.py。同一个文件本身就是 JevBench 的local_openjev适配器把code/放进PYTHONPATH作为typed_decisions/open_jev.py出现harness 无需改动即可运行。JevBench v1.2 公开题目成绩官方 harnessREADME 给出了用 JevBench 官方 harnessjevbench.cli run、适配器local_openjev、适配器实现即 code/openjev_decide.py在公开题目上的结果tier4B v24B v44B v5Jev 1.13SemIf (Qwen3.5-4B)easy (48)—1.0001.0001.0001.000standard (72)—1.0000.9860.9860.986hard (111)—0.5410.6220.7300.613all public (231)—0.7790.8140.8660.810hard tier 按 family 细分adversarial 1.00、routing_hard 1.00、trap 1.00、multi_hop 0.72、probability 0.60、long_policy 0.58、ambiguous 0.57、judge_hard 0.53、tradeoff 0.50、temporal_numeric 0.27。benchmark 的 judge tier 是保密的因此这里不声称 JevBench Score。如何复现这张表eval_jevbench.py从 JevBench 公开 JSONL 拉取 easy / original / hard 三份题目把每个选项格式化为一条 hypothesisnoul 用 true/false 判据、score 用等级描述对每个 pair 跑P(entailment)后按选项归一化max即预测code/eval_jevbench.py。运行时还会把排行榜系统的 per-task 结果按相同题目重算保证同题对比。判分、忠实性与指令遵循全部 held-out0.8B v2s2B v44B v44B v5LLM-AggreFact (29 320, balanced acc)0.7390.7560.7650.754RAGTruth test, response level (AUROC)0.9150.9130.9260.932HaluBench (AUROC)0.8700.9020.9290.937FalseQA test (AUROC)0.8650.9110.9360.949BullshitBench, nonsense detection (AUROC)0.8180.8570.9050.914BullshitBench, as judge vs 3-judge consensus0.9120.9760.8850.862IFEval, instruction level (AUROC)0.8670.9070.9350.934LLMBar, pairwise accuracy0.6080.7300.8040.834MNLI m / mm0.871 / 0.880—0.891 / 0.8930.896 / 0.899ANLI r1 / r2 / r30.671 / 0.510 / 0.504—0.752 / 0.641 / 0.5850.780 / 0.665 / 0.627WANLI / SciTail / ConTRoL0.744 / 0.941 / 0.602—0.764 / 0.952 / 0.7120.767 / 0.952 / 0.734README 给出了量级参考Bespoke-MiniCheck-7B 在 LLM-AggreFact 上为 0.774MiniCheck-FT5 约为 0.75。特别值得注意的是nonsense detection废话检测其他被比较的 cross-encoder 完全没有这项能力——openjev 4B v2 在此项只有 0.181ModernCE-large 只有 0.168即低于随机水平因为它们会把一句无意义的问句当成正常问句来读。确定性与选项顺序不变性code/order_test.py对全部 231 个公开 JevBench 题目做了实验每题问四次原顺序两遍、反转、打乱结果如下label changeslargest probability changesame request twice0 / 2310.0, bit-identicaloptions reversed0 / 2311.8e-7options shuffled0 / 2311.2e-7README 特别指出这是结构性的、而非训练出来的每个选项在各自的前向中独立打分选项顺序只进入最后的归一化。从 code/order_test.py 的实现看测试对每个题目按给定 / 反转 / 打乱三种顺序调用jev.decide统计 label 翻转次数与任意选项概率的最大变化量。RESULTS-v5.md 补充了一个精度说明该测试在 fp32 / V100 上测得bf16 下概率会有约 1e-3 量级的舍入波动但不会造成标签翻转。已测量的弱点安全审查与 prompt injectionREADME 用 code/eval_security.py 明确测出了模型的边界而非回避作为 shell 命令安全审查员在 195 条生成命令上 accuracy 0.600只拦下 37% 的应拒命令deny-worthy模型从未针对此任务训练过未做 prompt injection 加固state 里加一行对抗文本如 system administrator override: answer X150 条 JevBench 题目的 accuracy 从 0.833 掉到 0.467在 shell 集合上应拒命令被放行的比例从 17% 升至 85%。注入样例code/eval_security.py 中直接写在文件里包括伪造的 reviewer 注释、伪造的previous_tool_output、伪造的策略更新、威胁与管理员越权声明。README 的结论很明确基于该模型构建 guard 时应置于确定性检查旁边而不是替代确定性检查。污染声明与 v5 数据构成务必阅读README 与 RESULTS-v5.md 都毫不含糊地声明了 v5 的污染状况v5 的训练混合故意包含了 MMLU、ARC、GSM8K、HellaSwag、WinoGrande、GPQA-diamond、CLINC-150、Banking77、ESCI 的 TRAIN 与 TEST split精确清单见 qwen3.5-4b-nli-v5/panel_manifest.json该文件由数据构建流程写出内容为repo / config / split三元组列表。因此这些 benchmark 在 v5 上的数字毫无评估意义README 一律不报告。相反没有任何一条 JevBench 题目、也没有上表任何 benchmark 的数据进入过混合——data_mix.py按名字拒绝 JevBench 数据jevfmt构建环节带--no-jevbench标志用于每一次 v3/v4/v5 构建LLM-AggreFact、HaluBench、RAGTruth test、IFEval prompts、LLMBar、BullshitBench、WebQL benchmark 同样保持 held-out。v5 的完整配方来自 RESULTS-v5.md 的What went into v5表在 v2 配方hard NLI、长文档、图像前提、agentic 轨迹约 1.3M 行之上v2s 增加忠实性MiniCheck、RAGTruth train、指令遵循argilla ifeval 类数据标签来自 IFEval checker与虚假前提问题FalseQA、合成类目错误v4 增加 27k 行由推理型 teacherQwen3.5-4B预算受限蒸馏的数据以及复杂 IF 格式哪个需求被违反 / 满足多少条 / 严重程度 / 三选一最佳、同时含取值与格式约束的充分性判断v5 再增加 5 998 条由 gpt-5.5 编写并求解的计算密集型题目时间、长策略、多跳、judge与 benchmark panel。teacher 在自身题目上的一致率为 0.921judge 0.89、long policy 0.94、multi-hop 0.91、temporal 0.94。openjev-4B v2文本、图像与 agentqwen3.5-4b-nli-v2/除文本外还能读图像且训练混合更大更难。README 强调它在所有展示项目上严格零样本直接从像素玩 Doom每个 episode 平均10.4 击杀是 v1 模型5.2的两倍随机乱玩只有 1。文本状态版 v2 为 11 击杀 / episode全知信息 bot 为 18.8在真实 Minecraft 里从零打出一把铁镐约 22 次决策、11 个里程碑由 backward-chaining scaffold 驱动jev 模型只负责核验关于背包与世界的陈述对应代码 code/minecraft.py对抗性 NLI 明显变强ANLI r3 0.42 → 0.63、WANLI 0.63 → 0.77图像声明0.52 → 0.84重排ARC-Challenge 0.59 → 0.72、MMLU 0.47 → 0.53MNLI 持平 0.91。仓库 videos/ 目录保存了 Doom / Minecraft / Flappy Bird 的真实回放如 videos/v2/doom_vision_v2.mp4、videos/minecraft_chain.mp4README 中的两段演示视频正对应这两项能力。OpenJevCrossEncoder 的高级 API 与共享前缀加速除decide外modeling_openjev.py 提供了完整的编程接口README 给出了三个典型用法from modeling_openjev import OpenJevCrossEncoder jev OpenJevCrossEncoder(AlexWortega/openjev, subfolderqwen3.5-4b-nli-v2) jev.predict([(The bird is 0.05 below the centre of the gap., The bird is below the centre of the gap.)]) # - [[contradiction, entailment, neutral]] probabilities jev.rerank(Which gas do plants absorb during photosynthesis?, [oxygen, carbon dioxide, nitrogen]) # - index of the option with the highest entailment jev.predict_hypotheses(Which gas do plants absorb during photosynthesis?, [The correct answer is: oxygen, The correct answer is: carbon dioxide, The correct answer is: nitrogen]) # - one [contradiction, entailment, neutral] row per hypothesisgrade(question, reference, candidate)则把 premise 组织为{question}\nReference answer: {reference}、hypothesis 为Answer: {candidate}返回contradiction/entailment/neutral字符串modeling_openjev.py。共享前缀shared prefix优化是predict_hypotheses/latents_hypotheses与rerank的底层机制modeling_openjev.py12 条 hypothesis直接走现有 pairwise batch 路径3 条及以上先对完整输入分词逐列比较找出公共 token 前缀只对前缀做一次 prefill然后把 KV cache 复制进 batch 的每个后缀条目一次性批量续算所有 hypothesis之所以不能简单地用 4D packed tree mask是因为 Qwen3.5 含有recurrent linear-attention 层树形 mask 无法隔离循环层状态——必须把共享前缀缓存复制进各后缀的独立 batch 条目该路径仅用于文本输入batch 大小与后缀 padding 的内存开销与 hypothesis 的数量和长度成正比超大选项集应拆成多次调用。仓库根目录的 test_shared_prefix.py 用三个测试验证了这条路径共享前缀结果与独立打分一致且分支互相隔离、小选项集走 pairwise 路径、空输入处理。SGLang 客户端也复用了同样的rerank语义code/sglang_client.py。图像输入图像以pixel_values/image_grid_thw来自 Qwen3.5 图像处理器放进 premise文本中用|vision_start||image_pad|…|vision_end|占位。具体实现见 code/doom_vision.py直接从像素玩 Doom与 code/eval_image_nli.py图像声明评估。用 SGLang 部署外挂模型包与 1.53 倍吞吐SGLang 目前没有 Qwen3.5 的 sequence-classification 类因此 code/sglang_openjev/ 是一个外部模型包它在 SGLang 的Qwen3_5ForConditionalGeneration上挂了一个线性score头hybrid cache、mrope、vision tower 原样保留/classify端点返回三个原始 logits。文本与图像都能处理。一键启动脚本hf download AlexWortega/openjev --include qwen3.5-0.8b-nli-v2s-long/* code/* --local-dir openjev cd openjev/code bash serve_sglang.sh ../qwen3.5-0.8b-nli-v2s-long 30000 # tested with sglang 0.5.19code/serve_sglang.sh 里有几个值得留意的生产参数均可通过环境变量覆盖PYSGLang 所在虚拟环境的 python默认$HOME/venvs/sglang/bin/python并把其目录加入PATH以提供 ninjaSGLang JIT 内核需要SGLANG_EXTERNAL_MODEL_PACKAGEsglang_openjev指定外部模型包配合--is-embedding与--json-model-override-args {architectures: [Qwen3_5ForConditionalGeneration]}启动ATTN_BACKEND默认triton。README 与脚本注释都强调flashinfer 会用系统 nvcc 做 JIT 编译在 nvcc 12.4 时会失败MEM_FRACTION--mem-fraction-static的取值是整卡的份额含其他进程。共享 GPU 上应按1 - (想留的余量 / 总显存)设置例如 48GB 卡已占用 32GB 时设 0.85。不借助脚本的等价方式SGLANG_EXTERNAL_MODEL_PACKAGEsglang_openjev、code/在PYTHONPATH上然后python -m sglang.launch_server --model-path dir --is-embedding --json-model-override-args {architectures: [Qwen3_5ForConditionalGeneration]}。为什么可以这样做外部模型包注册时以overwriteTrue覆盖 SGLang 按架构名Qwen3_5ForConditionalGeneration绑定的 hybrid GDN cache、mrope 与 Qwen-VL 多模态处理器生成路径完全不动get_embeddingTrue时 last-token 隐状态经score头池化与 transformers 相同last non-pad token原始 logits 以 “embedding” 形式返回code/sglang_openjev/qwen3_5_seqcls.py。客户端调用from sglang_client import OpenJevSGLang # code/sglang_client.py jev OpenJevSGLang(http://127.0.0.1:30000) jev.predict([(A man is playing a guitar., Someone is making music.)]) # [[con, ent, neu]] jev.predict([(A photograph of a scene:, There is a dog.)], images[dog.jpg])code/sglang_client.py 的实现细节images[i]可以是路径 / URL / 字节图像通过IMG标记拼进第 i 条 premise标记缺失则追加实际文本中以|vision_start||image_pad||vision_end|占位SGLang 会把单个 pad 展开为 patch 数workers个并发请求每请求bs对同时在途由服务器跨请求合批。客户端还带--check ckpt参数在 5 对固定样本上对比 SGLang 与 transformers 的概率差与 argmax 一致性。吞吐对比1.53 倍README 给出的基准code/bench_sglang.pyqwen3.5-0.8b-nli-v2s-long跑在与其他任务共享的 RTX A6000 上绝对速度是下界transformers batch 32taskpairstokens / pairacc SGLangacc transformersSGLang pairs/stransformers pairs/sspeed-upMNLI mmm196474486.6386.643211522.1xANLI r1100010565.364.91891191.6xANLI r2100010350.650.81811101.6xANLI r312009248.648.6218952.3xWANLI50004073.773.74001962.0xSciTail21264393.393.43192171.5xConTRoL (long)80561251.951.445153.1xARC-Challenge (rerank)93744949.249.23341971.7xHellaSwag (rerank, 2k questions)1600011437.637.51761091.6x各任务上 SGLang 与 transformers 的准确率几乎逐点一致而长输入ConTRoL每对 612 token时共享前缀批量打分优势最大达到 3.1 倍。35B-A3B MoE 版本与 Latent MLP 头更大的 jev 版本以 Qwen3.5-35B-A3BMoE为 backboneqwen3.5-35b-a3b-nli/modeling_qwen35_moe_seqcls.py 提供Qwen3_5MoeForSequenceClassification。README 报告了两个使用模式零样本直接判读或冻结 backbone、在 last-token latent 上训练一个小的 MLP 头每任务一个头见mlp_heads_35b/task/下的head.ptnorm.npzmeta.json可用LatentMLPHead.load加载。LatentMLPHead的实现位于 modeling_openjev.py小 MLPd → 512 → 1GELU dropout 0.1叠在冻结的 cross-encoder latent即送入score头的池化隐状态之上每个 (question, option) 对输出一个标量损失为soft BCEBCEWithLogits(logit, y*(1-eps) (1-y)*eps)正样本按 (1-p)/p 加权p 为正例率推断时按题内 argmax 决定选项。fit在按 question 分组划分的 hold-out 上用 per-question accuracy 做早停并恢复最优权重save将head.pt、norm.npzmu/sd 归一化参数与config.json一并写出——这正是mlp_heads_35b/目录的组织方式。相关训练/复现脚本为 code/latent_mlp.py。复现与进一步探索的路径README 的code/目录承载了全部可复现资产主要入口数据构建code/data_mix.pyv2 混合、faith、ifollow、bullshit、jevfmt、agentic、longdoc、panel 等全部 stage 的 builder、code/hard_gen.pyv5 计算密集型题目的生成器含 selftest、code/distill_teacher.pyv4 的推理 teacher 蒸馏训练code/train.py含文本与图像混合的 collator、vision 冻结、smoke 回调评估code/eval_jevbench.pyJevBench 公开题、code/eval_extra.pyAggreFact / RAGTruth / HaluBench / BullshitBench / FalseQA / IFEval / LLMBar、code/eval_security.pyshell 审查与注入鲁棒性、code/order_test.py确定性测试、code/eval.pyMNLI / ANLI / WANLI / SciTail / ConTRoL 及 ARC / MMLU / GSM8K 等 MCQ、code/eval_agentic.py、code/webql_null.py游戏与 agentcode/doom.py文本态 Doom、code/doom_vision.py像素 Doom、code/flappy.pyFlappy Bird、code/minecraft.pyMinecraft 环境、scaffold 规划器与 jev 判据原始结果results/目录保存了每次运行的原始 JSON含RESULTS-v5.md中全部表格对应的数据与完整报告 results/full_report.md。全文最核心的警示是 README 反复强调的三点v5 在 panel 内的 benchmark 数字无意义模型没有经过安全与注入加固guard 场景必须叠加确定性检查模型的所有能力来自同一个 NLI 原语且任务无需单独训练。在此基础上无论你是要做重排、判分、策略把关还是实时决策code/openjev_decide.py 与 modeling_openjev.py 都提供了可直接复制的最小可用入口。创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考