极摩客迷你主机本地AI部署指南：从内存核显到Ollama实战

最近身边折腾本地 AI 的朋友明显多了以前找我配电脑都是先问显卡显存、电源瓦数最近画风全变了上来就问能不能在自己家里跑 DeepSeek聊天记录不想出本机公司文档想整理成私有知识库还有人想把本地模型接进自动化工作流里当个 7x24 小时的“数字员工”。一开始我也习惯性推荐大机箱加独显但折腾了大半年之后我越来越倾向于先问一句你是真的需要一台 300W 的大铁疙瘩还是一台 45W 的迷你主机就足够了答案在大多数情况下是后者。本地 AI 部署这件事Mini PC 反而比大机箱有天然优势尤其是最近极摩客GMKtec这条产品线上陆续放出的几款主打 AI 的迷你主机已经把“在家跑模型”的门槛压到了让人没法忽视的程度。这次我就围绕家用本地 AI 这个真实场景从“硬件到底卡在哪”讲起把极摩客目前最值得关注的三款机型挨个拆开说清楚旗舰位的 EVO-X1、主流甜品的 K8 Plus / K9、以及入门位的 M7 Pro。每台机器我都会聊它适合跑什么规模的模型、部署时要注意什么把我实际踩过的坑也一并交代最后给你一套可以直接抄作业的部署命令和参数。1. 本地 AI 到底吃的是什么硬件别被“超算”两个字吓到1.1 跑大模型第一看内存第二看核显唯独不是看“算力”很多人一听“AI 超算”四个字第一反应是 GPU 浮点算力买机器先比 TFLOPS。这个思路放在云服务器上没错放在家用跑大语言模型LLM上就有点跑偏了。大模型的推理过程本质上是把几百亿个参数反复和你的输入文本做矩阵乘法参数在训练阶段就定死了推理阶段真正吃紧的资源不是“算力”而是“能装下多少参数的内存”。一个 7B 参数的 Q4 量化模型文件大约 4.7GB14B 大约 9GB32B 的量化版要 1920GB。每次问答这些数据都要加载到内存里参与运算所以内存容量直接决定了你能跑多大的模型。再往下一层看模型推理的并行计算确实依赖 GPU但消费级迷你主机的核显在跑 7B 到 14B 这个量级时已经能提供足够流畅的体验。我实测下来Radeon 780M 级别的核显跑 7B Q4 大约能做到 1218 token/sRadeon 890M 可以摸到 25 token/s 上下。作为参考人快速阅读一句话的速度大约是每秒 58 个字这个速度已经达到“可读但别急”的水平非常适合本地答疑、知识库检索、长文档总结这类不需要流式刷屏的场景。1.2 NPU、核显、CPU 三者的分工别让 TOPS 数字忽悠了迷你主机圈这两年在宣传里爱写“AI 超算”这个叫法多少有点营销味道拆开看其实就是三块芯片的配合CPU 负责数据预处理和任务调度核显承担神经网络推理的重活NPU 则是专门处理低功耗、持续性 AI 小任务的协处理器比如摄像头人像分割、背景虚化、语音降噪这类。像极摩客 EVO-X1 上那颗 Ryzen AI 9 HX 370NPU 标称 50 TOPS听着吓人但它擅长的是体量小、结构专用的模型目前主流的大语言模型推理框架Ollama、llama.cpp、LM Studio几乎都用不上 NPU真正在干活的是 Radeon 890M 核显。所以你在选主机时别被 TOPS 数字冲昏头。50 TOPS 的 NPU 只代表这台机器在“AI 音视频处理”这类场景里有潜力现阶段对跑 DeepSeek、Qwen 这类大模型的加速帮助非常有限。真正决定本地 AI 体验的指标是三样内存容量、核显规模CU 数量和频率、以及散热能不能长时间压住负载。后面这两项极摩客这三款机器之间差距其实很明显这也是我坚持把旗舰、主流、入门分开说的原因。1.3 为什么迷你主机比大机箱更适合当“家用 AI 服务器”我自己第一台跑本地 AI 的机器是标准 ATX 机箱加独立显卡后来换成迷你主机体会特别直接。首先是电费一台满载 45W 的迷你主机 24 小时开机一个月大约 32 度电按居民电价算也就十几块钱大机箱配独显待机 30W、跑起来 250W 起一个月七八十块电费是常态而且绝大部分时间你根本用不到那张显卡的满血性能。第二个容易被忽略的点是“显存天花板”。独显的显存是锁定死的16GB 卡就只能跑 16GB 模型想再往上就得换卡。迷你主机的核显不一样它走的是内存共享可以把系统内存池化成显存——机器插 64GB 内存理论上就等于有 64GB“显存”。对本地大模型来说这个弹性比单纯的高算力实用得多。再加上占地面积小、噪音低、能塞进电视柜迷你主机作为家用常驻服务器确实比大机箱合理不少。2. 极摩客三款 AI 超算迷你主机盘点极摩客在迷你主机圈里算是出货量很大的老玩家产品线铺得特别宽从几百块的 N150 上网机到万元级的 Ryzen AI 9 旗舰都做。我按“家用本地 AI”这个需求从产品线里挑了三档代表机型先把核心参数摆出来后面逐个拆解。项目EVO-X1K8 Plus / K9M7 ProCPURyzen AI 9 HX 37012C / 24TRyzen 7 8845HS / Ryzen 9 8945HS8C / 16TRyzen 9 6900HX8C / 16T核显Radeon 890M16 CURDNA 3.5Radeon 780M12 CURDNA 3Radeon 680M12 CURDNA 2NPUXDNA250 TOPSXDNA16 TOPS无内存支持双通道 DDR5最高 96GB双通道 DDR5最高 96GB双通道 DDR5最高 64GB适合模型量级7B32B 量化7B14B 量化7B 量化及以下特色接口USB4、OCuLink、双 2.5G 网口USB4、OCuLink、双 2.5G 网口USB4、单 2.5G 网口参考定位旗舰全能甜品均衡入门体验2.1 旗舰位EVO-X132B 模型也能稳住的“全能型”EVO-X1 是极摩客目前桌面端定位最高的机器Ryzen AI 9 HX 370 拥有 12 核 24 线程核显是 RDNA 3.5 架构的 Radeon 890M16 个 CU 配合双通道 DDR5综合性能已经摸到了入门级独显 GTX 2050/3050 的尾巴。最关键的是它能上 96GB 内存这意味着 32B 级别的量化模型可以完整塞进内存跑这在迷你主机品类里非常少见。我实际部署时把 Qwen 32B 的 Q4 量化版放到 EVO-X1 上UMA 共享显存设成 16GB输出速度大约 610 token/s属于“能用但别急”的档位。而换到 7B 和 14B 模型体验就完全是流畅的日常水准了。换句话说EVO-X1 是一台能覆盖“日常小模型 偶尔大模型”的一体机不用来回换设备。它的 NPU 在 OpenVINO 框架下也能给一些 CV 场景做加速在一众 Windows AI PC 里算是有后续想象空间的硬件。缺点嘛价格明显高一个台阶满载时散热策略偏激进风扇声音不算安静。2.2 主流位K8 Plus / K9甜点位上的“均衡之王”预算没到旗舰又不想在 AI 体验上妥协太多的话K8 Plus 和 K9 是我最常推荐的两个型号。两者用的是同一代平台K8 Plus 是 Ryzen 7 8845HSK9 是 Ryzen 9 8945HS核心数都是 8 核 16 线程差异主要在频率和缓存调度上核显同为 Radeon 780M。在实际跑模型时这两台的生成速度区别非常小所以我把它们归到主流档位一起说。780M 这代核显是 AMD 近年来提升最明显的一代RDNA 3 架构、12 个 CU配合双通道 DDR5跑 7B Q4 大约 1218 token/s跑 14B 大约 69 token/s。这个性能覆盖日常答疑、文章总结、本地知识库完全够用。这两台还都支持 96GB 内存但如果你只跑 7B/14B插 32GB 或 48GB 就够了省下的预算足够再添一块大容量固态。这两台机器的加分项是双 2.5G 网口和 OCuLink。双网口意味着可以一边接主网络、一边接旁路由或 NASOCuLink 则预留了外接显卡坞的升级路径——我先说实话显卡坞跑 AI 的性价比一般但至少这条后路是通的。选购建议很简单两款差价在 200 元以内直接上 K9差价拉大了K8 Plus 完全能扛住绝大多数家用场景。2.3 入门位M7 Pro花小钱也能玩转 7B 模型如果你只是对本地 AI 好奇预算不想一下子上到两三千那 M7 Pro 这种用上一代平台的机型就特别有吸引力。它搭载 Ryzen 9 6900HX8 核 16 线程核显 Radeon 680M 虽然是 RDNA 2 架构但 12 个 CU 的底子还在跑 7B Q4 大致能到 610 token/s。这个速度怎么看能跑且可用但对耐心有一定要求适合“不着急要答案、更在意数据隐私”的使用习惯。我把 M7 Pro 定位成“入门体验机”。你如果还在纠结要不要把所有聊天都本地化可以先在这台机器上把 Ollama 加 DeepSeek 7B 完整跑通真实感受一下本地推理的速度和效果再决定要不要升级更大内存、换旗舰平台。本地 AI 的坑从来不在硬件而在预期管理先用最少的钱跑通流程比一步到位稳得多。这台机器的短板也明显没有 NPUWindows 上一些 AI 特性用不了BIOS 里调整共享显存的选项比新平台少跑大模型时更容易碰到共享内存上限。预算但凡能加一点我更建议直接看 K8 Plus这两档之间差的不是几百块是完整一代的 AI 体验。3. 从拆箱到跑通本地 AI 部署实操记录3.1 开箱第一件事先把“显存”调大迷你主机拿到手第一件事不是装 Ollama而是进 BIOS 调整内存共享显存也就是 UMA Frame Buffer Size。AMD 平台的核显默认共享显存可能只有 512MB 或 1GB你直接跑 7B 模型的话模型会有很大一部分落在系统内存里走 CPU 计算速度会慢得让人怀疑人生。把 UMA 调到 8GB 或 16GB等于明确告诉系统“这块显存核显可以接管”模型加载到核显显存后token 输出速度会有肉眼可见的提升。操作很简单开机按 Del 进 BIOS找到 AMD CBS 或 GFX Configuration 这类选项把 UMA Frame Buffer Size 改成目标值。不同版本的 BIOS 菜单名称略有差别找不到就按 F7 切到高级模式慢慢翻。需要提醒的是这个值调大后系统可用内存会相应减少16GB 内存的机器建议调到 8GB32GB 内存可以放心调到 16GB再往上意义就不大了。3.2 Ollama DeepSeek三台机器都能跑通的方案部署第一步是把 Ollama 装上。Windows 用户直接去官网下载安装包装完打开命令行执行ollama run deepseek-r1:7b它会把模型拉下来并直接进入对话。想确认核显有没有干活再开一个终端执行ollama ps看 GPU 那一列不是 0 就说明 GPU 在推理。实测下来新版 Ollama 在 Windows 上对 AMD 核显的支持已经不错如果发现一直走 CPU可以重启 Ollama 服务或者干脆换 LM Studio 用 Vulkan 后端后者对 AMD 核显的设备识别更直观。更推荐长期跑服务的方式是走 Linux 加 Docker一次性把环境隔离好避免和系统里已有的 Python、CUDA 依赖打架docker run -d --device /dev/kfd --device /dev/dri \ -v ollama:/root/.ollama -p 11434:11434 \ ollama/ollama:latest docker exec -it ollama ollama run deepseek-r1:7b这样跑起来后本机的 11434 端口就相当于一个 OpenAI 兼容的 API 服务Open WebUI、Dify、n8n 都能直接接进来。选模型时记住几个参数Q4 是速度和体积最平衡的量化档位。7B 的 Q4 约 4.7GBK8 Plus 配 32GB 内存跑它毫无压力14B 的 Q4 约 9GBEVO-X1 或 32GB 以上的 K8 Plus 可以跑32B 的 Q4 约 19GB那就得 64GB 以上内存的版本才值得碰。上下文长度默认 2048 或 4096 就好没必要一上来拉到 32K内存直接翻倍速度也会肉眼可见地往下掉。3.3 Dify Docker把模型变成私有工作流本地只跑一个命令行对话模型用久了会觉得鸡肋真正把本地 AI 用起来的姿势是接进工作流。我家里的组合是 Dify 加 OllamaDify 负责搭建知识库、Agent 工作流和可视化对话应用Ollama 负责底层推理两个服务都跑在同一台迷你主机上。Dify 官方推荐 Docker Compose 部署git clone https://github.com/langgenius/dify.git cd dify/docker cp .env.example .env docker compose up -d容器起来之后在 Dify 后台的“模型供应商”里添加 OllamaAPI 地址填http://host.docker.internal:11434Windows 或 Mac或者http://你的主机IP:11434Linux模型名填deepseek-r1:7b就能把本地模型接进 Dify 的聊天应用和知识库应用里。这个组合最大的好处是数据完全不出本地工作文档传进 Dify 建知识库提问和检索都在自己机器上完成内容敏感也不用担心外泄。我后来尝试把 n8n 也加进来做自动化触发思路完全一样——把 Ollama 的 11434 端口当作普通 API 服务接入唯一要注意的是不同工具对上游模型名称和采样参数的叫法略有差异接的时候花两分钟看一眼文档就够。4. 常见问题与调优实录4.1 模型跑起来很慢怎么确认 GPU 是不是在干活最常见的抱怨是“模型明明装好了输出速度像老式打字机”。第一步永远是看 GPU 有没有真的参与推理运行ollama ps如果 GPU 字段是 0%大概率是 CPU 在硬算。Windows 上可以检查 Ollama 服务是否启用了 GPU 模式或者直接转用 LM Studio 的 Vulkan 后端它对 AMD 核显的设备占用和显存占用展示得更直观。另一个被大多数人忽略的坑是电源模式。Windows 默认的“平衡”电源计划在节能场景下会压低核显频率迷你主机虽然插着电系统却可能还在用节能策略导致同样的模型白天晚上速度差很多建议手动改成“高性能”。Linux 下则注意别乱动系统自带的 GPU 驱动很多一眼看上去是“硬件不行”的问题其实就是某次驱动升级后固件和内核版本不配套性能直接腰斩。4.2 内存吃满、温度拉满家用长跑必须接受的现实跑 7B 以上模型时任务管理器里内存占用冲到 90% 是常态这不一定是故障而是模型参数和 KV Cache 一直占着内存不动。遇到爆内存优先换更小量化版本比如 Q4 换成 Q3_K_S或者调低上下文窗口加参数--num-ctx 2048而不是急着加内存。加内存确实是终极大法但老平台要注意两条 32GB 的兼容性别买回来点不亮。温度方面迷你主机的体积决定了散热有天花板。EVO-X1 满载时风扇会明显拉高转速这是正常现象但别把它塞进密闭电视柜里实测柜内密闭环境会让温度再高 58 度建议两侧留出通风空间。K8 Plus 默认风扇策略偏激进晚上挂机建知识库索引时噪音在 40 分贝上下能接受但如果对噪音敏感可以在 BIOS 把 TDP 从 45W 降到 35W性能损失很小噪音和温度能下来一截。4.3 家用本地 AI 常见问题速查表问题主要方向快速处理输出速度低于 5 token/sGPU 未生效 / 电源策略看ollama ps、切换高性能电源、BIOS 调大 UMA提示内存不足量化太大 / 上下文过长换 Q4 或 Q3 量化、调低--num-ctx、关掉多余服务跑到一半程序无响应共享内存不足 / 存储过热调高 UMA、检查 SSD 温度、换 PCIe 4.0 固态风扇长期高速运转散热策略激进 / 环境封闭BIOS 降 TDP、改善通风、加底座垫高Dify 连不上 Ollama容器网络地址不对用 host.docker.internal 或宿主机 IP确认 11434 端口可达更新系统后速度骤降显卡驱动被替换重装 AMD Adrenalin 驱动关闭驱动的自动更新最后分享一个我自己的习惯任何一台新迷你主机到手我都会先用同一个 7B 模型跑一遍基准记录下输出速度、内存占用和满载温度三组数据之后再动任何配置。有了这条基准线后面排查问题会省非常多时间你也能第一时间分辨出到底是不是硬件不行还是哪里设置没到位。我个人这半年用下来的体会是本地 AI 的体验瓶颈从来不在某一项参数而是配置、散热和使用习惯三者的平衡。如果你现在还在犹豫怎么选我的建议很直接先从你确定要跑的最大模型反推需要的内存容量再按内存需求定平台最后把预算花在核显和散热上这套逻辑选出来的机器基本不会吃灰。极摩客这三款正好是三个预算段的参考答案——M7 Pro 让你用最少的钱验证需求K8 Plus 是大多数家庭最舒服的甜点位EVO-X1 则是把“家用 AI 服务器”这件事做得比较完整的旗舰选择。至于买哪一台说到底取决于你对“数据不出门”这件事有多在意。