如何玩转Edge0-35B-A3B对话模板：思考模式、工具调用与多模态提示词完整指南

如何玩转Edge0-35B-A3B对话模板思考模式、工具调用与多模态提示词完整指南【免费下载链接】Edge0-35B-A3B-preview项目地址: https://ai.gitcode.com/hf_mirrors/Edge0/Edge0-35B-A3B-preview本文带你完整解析 Edge0-35B-A3B 的对话模板chat template。Edge0-35B-A3B 是一款运行在手机级内存3 GiB 激活显存的 35B 级稀疏 MoE 对话模型随仓库附带的 chat_template.jinja 直接决定了它的思考模式、工具调用协议和多模态提示词格式。理解它你就理解了模型如何听懂你。为什么对话模板值得认真读一遍很多用户把对话模型当成黑盒其实每次发送消息模板都会把对话历史渲染成模型训练时见过的那套特定格式。Edge0-35B-A3B 基于 Qwen3.6-35B-A3B见 config.json模板里藏着三个关键开关变量作用默认行为enable_thinking控制模型是否进入思考模式开启输出 推理preserve_thinking多轮工具调用时是否保留历史思考过程自动检测后开启tools传入工具函数定义注入系统提示词 提示模型目录里的 lora_edge0_35b.safetensors 和 prerouter_edge0_35b.safetensors 会由 edge0 框架自动加载无需手动配置。一键体验从下载到开始对话准备工作只需三步安装 edge0 框架、下载模型目录、运行聊天命令详见 README.md 的 Quick start 章节。# 设置模型路径后直接对话 edge0 chat --name edge0-35b --prompt Introduce yourself # 或者起一个 OpenAI 兼容的 HTTP 服务 edge0 serve --name edge0-35b --port 8085默认情况下模型带着思考模式启动——你会先看到一段内心独白 中的推理再看到正式回答。思考模式实操如何开启与关闭模板末尾的生成提示词chat_template.jinja是整个思考模式的开关所在开启思考默认以 结尾模型开始先推理再作答适合数学、代码、长文分析等需要想清楚再答的场景。关闭思考传入enable_thinkingFalse模板会渲染出 空思考块模型跳过推理直接输出。# 关闭思考模式适合简单问答响应更快 render_result tokenizer.apply_chat_template( messages, enable_thinkingFalse, add_generation_promptTrue, )如何判断回答里的思考部分正式作答前的一切内容都在 标签内解析时按 切分即可得到 reasoning 与 answer 两部分——模板对历史消息也做了同样处理chat_template.jinja。工具调用全解析模型如何打电话当你把函数定义通过tools参数传入时模板会自动注入一段系统提示词声明你有以下函数可用并附上严格的输出格式要求chat_template.jinja。模型随后用 XML 风格的标签发起调用tool_call functionget_weather parametercity Beijing /parameter /function /tool_call关键规则有四条必须整体包裹...内只能放一个 块且不能有任何多余后缀必填参数不能省略多行值直接换行书写可以解释、不能追问调用前可用自然语言说明理由调用后禁止附加内容无可用工具时模型会正常作答而不是编造调用。工具返回结果的拼回方式工具执行完结果以roletool消息拼回对话。模板会把连续的工具结果合并包裹进一个 块chat_template.jinja让模型把它们视为同一轮反馈。多轮工具调用的小技巧preserve_thinking模板会自动检测最后一条用户消息是不是工具结果chat_template.jinja。如果对话正处在连续工具调用中途模型历史里的思考过程会被完整保留避免多步推理断片。你无需手动干预只需保证把上一步的 思考原文存回 assistant 消息里即可。⚠️ 注意当前 Preview 版本的 Agent 能力还在增强中——单步工具调用可用多步长程规划暂不推荐正式版本会显著加强详见 README.md 的 Limitations。多模态提示词图片与视频怎么写进对话Edge0-35B-A3B 的视觉编码与语言模型一体化image_token_id为 248056、video_token_id为 248057见 config.json模板层面已经备好完整的多模态处理逻辑图片消息content 数组中出现{type: image}时模板渲染为 chat_template.jinja视频消息出现{type: video}时渲染为 chat_template.jinja编号引用当传入add_vision_idTrue时模板会自动为每张图片/视频加上 Picture 1:、Video 1: 前缀方便你在后续对话中用编号指代系统消息禁区rolesystem中不允许包含图片或视频模板会直接抛出异常chat_template.jinja——多模态内容请放在 user 消息里。一个典型的多模态消息结构长这样{ role: user, content: [ {type: text, text: 这张图里是什么}, {type: image, image: /path/to/photo.jpg} ] }推荐的生成参数与质量参考采样参数以 generation_config.json 为基准参数值说明temperature1.0配合 top-k/top-p 使用top_p0.95核采样top_k20保留前 20 个候选do_sampletrue开启采样量化后的模型4-bit LoRA 蒸馏相对 fp16 基座平均只掉 3.9 分AIME 2026 得 86.6、HumanEval 得 90.9、MMLU-Pro 得 81.0完整基准见 README.md 的 Quality 表格。在 Mac mini M4 Pro 上解码约 15 tok/s、长提示词填充 140 tok/s、峰值激活内存 2.9 GiB。常见问题速查Q1对话里出现 标签是什么这是模型思考模式的原生输出属于正常现象。前端界面通常将其折叠展示程序解析时按标签切分即可。Q2为什么我的工具调用没有被执行先检查tools是否传给了模板而不是只塞进 system 文本再检查工具函数 schema 是否包含完整的parameters定义模型会严格按照 JSON Schema 生成参数。Q3长对话会不会爆内存专家权重按需从 SSD 流式加载不会常驻内存真正随上下文增长的是 KV 缓存建议控制单次对话长度以保持 3 GiB 级别的峰值内存。Q4能改模板吗模板文件 chat_template.jinja 是仓库的一部分你可以基于它派生定制版本比如修改编号前缀但请保持 / 等核心标记不变否则模型的思考与工具协议会失效。小结Edge0-35B-A3B 的对话模板把三件事做成了开箱即用enable_thinking一键切换思考模式、XML 标签协议规范工具调用、/ 标记打通图文视频输入。花十分钟读完 chat_template.jinja配合 README.md 的快速上手流程你就能在手机级内存的设备上跑起一个带思考、会调工具、能看图的 35B 级模型了。【免费下载链接】Edge0-35B-A3B-preview项目地址: https://ai.gitcode.com/hf_mirrors/Edge0/Edge0-35B-A3B-preview创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考