基于 Ollama 部署 qwen2.5-coder-14b（GGUF 直下版）

与Ollama相关的文章可见Ollama 大模型本地部署与轻量化优化-CSDN博客操作步骤适用场景本地编码模型部署接入 opencode、Trea中 使用一、前置准备Python 虚拟环境(可选D:\venv_all可创建一个虚拟环境py 3.12 -m venv venv_all然后pip install torch transformers sentencepiece protobuf gguf官方下载地址Ollama国内镜像地址 Ollama - Ollama 框架模型下载目录D:\models\qwen2.5-coder-14b-gguf地址自行选择工具说明本次走下载官方现成 GGUF路径无需llama.cpp 的 convert/quantize 步骤三、完整操作步骤步骤 1激活虚拟环境在powershell中激活虚拟环境D:\venv_all\Scripts\Activate.ps1成功标志提示符前出现(venv_all)若报禁止运行脚本先执行Set-ExecutionPolicy -Scope Process Bypass再激活步骤 2安装下载工具 非必选项谨慎执行该命令该命令会让huggingface_hub更新为最新版本可能会与环境中的其它库包造成版本冲突python -m pip install -U huggingface_hub注新版huggingface-cli命令已废弃一律使用hf命令步骤 3设置国内镜像加速$env:HF_ENDPOINT https://hf-mirror.com步骤 4查看仓库文件列表确认档位hf download Qwen/Qwen2.5-Coder-14B-Instruct-GGUF --dry-run官方仓库文件列表确认结果2026-09-24 不同量化精度的模型文件大小qwen2.5-coder-14b-instruct-q3_k_m.gguf7.3 Gqwen2.5-coder-14b-instruct-q4_k_m-00001-of-00002.gguf8.0 G 987.7Mqwen2.5-coder-14b-instruct-q4_0.gguf8.5 Gqwen2.5-coder-14b-instruct-fp16.gguf29.5 G其余 Q2_K / Q5_K_M / Q6_K / Q8_05.8~15.7 G步骤 5下载 Q3_K_M约 7.3 GB结合自己电脑的配置内层、显卡大小选择合适的hf download Qwen/Qwen2.5-Coder-14B-Instruct-GGUF --include *q3_k_m* --local-dir D:\models\qwen2.5-coder-14b-gguf--include用小写*q3_k_m*文件名小写只匹配目标文件下载完成标准D:\models\qwen2.5-coder-14b-gguf\qwen2.5-coder-14b-instruct-q3_k_m.gguf存在且约 7.3 GB断网重跑同一条命令自动续传步骤 6写 Modelfile在D:\models\qwen2.5-coder-14b-gguf新建Modelfile-coder14b记事本编码选 UTF-8FROM D:\models\qwen2.5-coder-14b-gguf\qwen2.5-coder-14b-instruct-q3_k_m.gguf PARAMETER temperature 0.7 PARAMETER top_p 0.9 PARAMETER num_ctx 8192步骤 7导入 Ollamaollama create qwen2.5-coder-14b -f D:\models\qwen2.5-coder-14b-gguf\Modelfile-coder14b成功标志输出success会自动将 GGUF 复制进.ollama\models\blobsD 盘再占约 7.3 GB步骤 8验证ollama list ollama run qwen2.5-coder-14b 用Python写一个快速排序只给代码 ollama ps验收标准ollama ps该模型的SIZE 约 7.3 GB。步骤 9接入 opencode编辑opencode.jsonc在 ollama provider 的 models 里添加{ name: qwen2.5-coder-14b, baseURL: http://localhost:11434/v1 }baseURL 必须带/v1apiKey 随意占位Ollama 不校验在trae中接入模型1. 打开添加模型对话框设置 → 模型 → 添加模型选择自定义模型2. 填写连接参数OpenAI 兼容三件套字段填写值说明API 地址 / Base URLhttp://localhost:11434/v1Ollama 的 OpenAI 兼容端点必须带 /v1API Keyollama任意字符串占位Ollama 不校验模型名称 / Model ID例如qwen2.5-coder-14b-int3必须是 ollama list 里的模型名不带 :latest 也行3. 保存并验证保存后模型会出现在模型列表里选择它即可对话 注意判断该接入的模型是否支持image若不支持在高级配置中选择不支持对话前确认 Ollama 服务在运行终端 ollama list 能出结果即正常注意事项Ollama 必须已启动Trae 是直连 localhost:11434Ollama 没开会报连接失败模型名严格一致填错会报 model not found用 ollama list 复制完整名字CORS 不用管Trae 走服务端/本机直连不需要像网页版那样开 OLLAMA_ORIGINS若 Trae 表单里要求填模型提供方选OpenAI兼容协议如果 Trae 的自定义模型表单字段名不同一般是 Name / Base URL / API Key 三个对应关系Name模型名、Base URLhttp://localhost:11434/v1、API Keyollama。填完直接保存即可。四、踩坑与注意事项1. 下载 SSL 报错处理报[SSL: UNEXPECTED_EOF_WHILE_READING]是网络瞬时断连按序处理直接重试同一条命令多数情况成功取消镜像直连官方Remove-Item Env:HF_ENDPOINT有代理软件时设置$env:HTTPS_PROXY http://127.0.0.1:7890端口按代理软件实际配置改临时关闭安全软件/换网络如手机热点排查2. 分片文件的 FROM 写法若下载的 GGUF 是分片如-00001-of-00002.ggufModelfile 的 FROM 只需写第一个分片llama.cpp/Ollama 自动找其余分片要求同目录、命名规范。3. gguf 源文件删除影响重建ollama create会把 GGUF 复制进 blobs删除源文件不影响已导入模型运行但 Modelfile 的 FROM 依赖源路径删掉后想改Modelfile中的其它配置会重建失败。验证稳定前建议保留源文件。5. huggingface-cli 已废弃新版直接使用hf命令旧命令会提示 deprecated。