如何快速上手d1a-e2b-it-qat-4bit：3步完成安装并跑通第一个决策请求（完整教程）

如何快速上手d1a-e2b-it-qat-4bit3步完成安装并跑通第一个决策请求完整教程【免费下载链接】d1a-e2b-it-qat-4bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/d1a-e2b-it-qat-4bitd1a-e2b-it-qat-4bit 是一款运行在Apple Silicon上的4-bit 量化 AI 决策模型给它一段情境描述和几个问题它只需一次前向传播就会为每个选项返回校准后的概率而不是生成一段文本。它基于MLX框架与 Gemma 4 E2B-it QAT 权重支持决策、聊天以及照片/语音/视频多模态输入。本文带你3 步完成安装并跑通第一个决策请求。一、它是什么为什么说决策模型很不一样 普通大模型靠生成文字回答问题而 d1a-e2b-it-qat-4bit 的工作方式是输入 一段状态描述state 若干问题questions每个问题是 是/否、多选 或 打分 输出 每个选项一个校准概率一次前向传播完成答案必然落在有效选项内这意味着它的输出可解释、可比较、可接入自动化流程比如给 PR 自动打标签、给工单做路由分派。项目说明主干模型Gemma 4 E2B-it QAT276 个 int4 线性层与 Google 官方 QAT 权重逐位一致量化4-bitgroup size 32嵌入层 4-bitgroup size 64反量化误差 0.0参数量 / 体积约 46 亿参数主模型约2.7 GB决策适配器LoRArank 16约 97 MB未合并可随时关闭多模态编码器视觉 音频编码器bf16约 1.0 GB在 media/ 目录校准温度1.55拟合得到ECE 从 0.064 降到 0.018授权Apache-2.0细节可见仓库说明 README.md。二、仓库结构速览先认清每个文件 文件 / 目录作用model.safetensors、model.safetensors.index.json4-bit 主干权重2.7 GB约 46 亿参数adapter/决策用 LoRA 适配器adapter/adapter_config.json 中 rank 16、alpha 32head.safetensors指针头pointer head用于输出选项概率d1a_config.json决策配置校准温度、leading tokens、量化参数等config.json模型架构与量化配置Gemma4 文本 视觉 音频generation_config.json聊天模式的采样参数temperature 1.0、top_k 64、top_p 0.95media/视觉/音频编码器及配套处理器配置tokenizer.json、chat_template.jinja分词器与聊天模板 适配器是未合并的关掉适配器这个权重就是 Gemma 4 E2B-it QAT 本身也能正常聊天——一份权重两种用法。三、3 步完成安装macOS / Apple Silicon第 1 步安装 d1a 服务包d1a 是承载该模型的推理框架需要安装带serve、mlx、media三组扩展的版本需支持其 issue #261 之后的开发版pip install d1a[serve,mlx,media]第 2 步获取模型文件二选一方式 A推荐不手动下载第 3 步用模型名mlx-community/d1a-e2b-it-qat-4bit让服务启动时自动拉取方式 B直接克隆仓库镜像本地磁盘预留约4 GB主模型 2.7 GB 编码器 1.0 GB 适配器 97 MBgit clone https://gitcode.com/hf_mirrors/mlx-community/d1a-e2b-it-qat-4bit第 3 步启动本地推理服务python -m d1a.serving.serve --run mlx-community/d1a-e2b-it-qat-4bit --port 8009使用本地克隆时把--run参数换成你的本地目录即可。服务默认监听localhost:8009启动后提供三个端点端点用途/v1/systemone决策请求文本/v1/systemone/media多模态决策照片/语音/视频/v1/chat/completions聊天OpenAI 兼容格式支持流式四、跑通第一个决策请求/v1/systemone ✅一个决策请求由两部分组成state发生了什么和questions每个问题给出类型与候选项。用 README 里的官方示例curl -s localhost:8009/v1/systemone -H content-type: application/json -d { state: Shoes arrived two weeks late and in the wrong size. Also I see two charges on my card., questions: {team: {type: choice, instructions: Which team should handle this?, criteria: {returns: null, shipping: null, billing: null}}} }返回结果会给出每个选项的校准概率官方示例在 Apple M1 Max 上约109 ms返回。你也可以在 Python 进程内直接调用from d1a import D1A model D1A.load(mlx-community/d1a-e2b-it-qat-4bit) answer model.decide(state, questions)五、进阶玩法多模态决策与聊天 照片 / 语音 / 视频决策同一个请求加上media字段发到/v1/systemone/mediacurl -s localhost:8009/v1/systemone/media -H content-type: application/json -d { media: {type: image, data: $(base64 -i parcel.jpg)}, questions: {damaged: {type: noul, instructions: Is the parcel damaged?}} }支持的多模态类型type格式限制imageJPEG / PNG / WebP—audioWAV / FLAC / OGG≤ 30 秒videoMP4 / MOV / WebM≤ 32 MB均匀采样 16 帧不用音轨聊天模式聊天时会自动关闭决策适配器此时它就是 Gemma 4 E2B-it QAT 本身走标准 OpenAI 格式curl -s localhost:8009/v1/chat/completions -H content-type: application/json -d { messages: [{role: user, content: Name three things to check when a parcel arrives damaged.}] }采样参数见 generation_config.json。六、关键配置解读d1a_config.json 里的几个重点 ⚙️打开 d1a_config.json 可以看到几个值得留意的字段temperature: 1.55——在 3178 条校准数据上拟合的校准温度让输出的概率说真话交叉验证 ECE 从 0.064 降到 0.018leading_ids: [2]——模型训练时每条记录以 token 2bos开头d1a 框架会自动补上如果你自己编码请求必须手动前置它adapter: unmerged——适配器未合并这也是它能兼顾决策与聊天的原因quantization——4-bit、affine 模式线性层 group 32嵌入层 group 64与 config.json 中的quantization_config一一对应。七、上手限制与避坑指南 ⚠️问题必须用英文文档内容可以是英文或日文该版本在未训练过的任务类型transfer-v4上比 v0.6 低 5.2 分。如果你的业务远离 D1A 自身任务PR 标签、路由、难决策建议锁定JohnP1/d1a-e2b-itv0.6媒体能力目前仅在 14 个演示请求上做过零样本验证正式使用前建议自行回归测试项目仍标记为实验性接入 Agent 工具调用时需经过 D1A 的 fail-safe 阈值d1a.agents.presets.advise。结语到这里你已经在自己的 Mac 上跑通了一个4-bit 量化决策模型一次前向传播、每个选项一个可信概率、还能看照片听语音。d1a-e2b-it-qat-4bit 相比上一代快了约 11%体积只有 2.7 GB——想让大模型做判断而不只是写答案这就是一个很好的起点。下一步可以试试把/v1/systemone接入你的工单系统或 PR 流水线体验校准概率带来的确定性。【免费下载链接】d1a-e2b-it-qat-4bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/d1a-e2b-it-qat-4bit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考