首页/新闻资讯/正文详情

内存减半,速度快61%:Amis 的 AI Storage Expansion 如何突破本地大模型内存天花板

发布时间:2026/11/16 16:22:53 来源:云帆数科 栏目:资讯中心
内存减半,速度快61%:Amis 的 AI Storage Expansion 如何突破本地大模型内存天花板
【免费下载链接】Amis️ A local-first desktop workspace for private agents, local models, runtime visibility, and local/cloud routing.项目地址https://gitcode.com/gh_mirrors/amis/Amis点击查看免费下载想让 35B 级别的大模型在普通电脑上跑起来最大的拦路虎是内存。Amis-LocalAI 通过 AI Storage Expansion 技术把 35B 级 MoE 模型的内存占用从 21.8 GB 压到 10.8 GB同时预填充速度还快了 61%。本文面向新手讲清楚这个技术解决了什么问题、由哪四层构成以及实测数据怎么读。为什么本地大模型总是内存不够用问题出在两条曲线背道而驰模型越来越大一个 235B-A22B 的 MoE 模型Q4 量化后也需要约 140 GB 快速内存消费级内存没跟上手机通常只有 4–8 GB高端 MacBook 也止步于 64 GB。llama.cpp/Ollama是最优秀的 GGUF 运行时LM Studio的本地体验最好但它们都有一个共同前提——模型得能塞进内存。塞不进去就只能回到云端账单照涨。Amis-LocalAI 的定位非常聚焦就是要在消费级设备上把这块内存天花板掀掉尤其针对 MoE混合专家架构的开源模型。项目首页 README.md 开篇就写明了这一目标。四层运行时栈AI Storage Expansion 如何工作Amis-LocalAI 不是一个单点优化而是一套四层运行时栈每层解决一个具体问题层技术解决什么1MoE-aware 稀疏激活每个 token 只激活它真正需要的专家其余专家保持冷状态不必常驻内存2AI Storage Expansion把高速 NVMe 存储变成 DRAM 的受管扩展热张量常驻内存冷权重从 SSD 流式读取可寻址的权重空间不再受限于物理内存3页感知内存映射与预取预测下一步计算要触碰哪些权重页提前从 SSD 拉取让延迟不被 SSD 寻址拖垮4CPU 优先调度默认在 CPU 上运行检测到 iGPU / dGPU / NPU 时机会性卸载加速核心思想一句话概括内存装不下没关系让 NVMe SSD 成为内存的第二层。配合 MoE 模型每步只用一小部分专家的特性大部分权重可以安心留在 SSD 上按页流式读入而预取机制保证读取跑在计算前面。项目首页中的原理图完整展示了这套栈的结构详见 README.md 的 How it works 一节。实测数据同机、同模型内存 10.8 GB vs 21.8 GB最有说服力的是同机同模型的正面对比。测试模型为Qwen3.5-35B-A3B34.66B 参数、Q4_K_M 量化、GGUF 格式设备是一台消费级 AI PCIntel Core Ultra 9 285H纯 CPU 推理不使用 GPU指标基线 llama.cppAmis-LocalAI差距内存占用预填充阶段21.8 GB10.8 GB−50%内存占用解码阶段23.3 GB10.8 GB−54%预填充速度pp51278.92 ± 8.74 t/s127.37 ± 2.96 t/s61%解码速度tg10246.20 ± 0.15 t/s6.32 ± 0.12 t/s持平线程数1410更少几个容易被忽略、但很关键的细节完整日志见 docs/benchmarks/qwen3-5-35b-a3b-u9-285h.md内存还更稳基线从预填充的 21.8 GB 涨到解码阶段的 23.3 GBAmis-LocalAI 全程稳定在 10.8 GB不是 mmap 的功劳Amis-LocalAI 使用了mmap0-mmp 0关闭内存映射省下的内存是运行时栈本身的能力线程更少还更快只用 10 个线程基线 14 个预填充反而快了 61%MoE 稀疏激活参数可见于命令行的-nkmoe 15 -ncmoe 99 -tmoe 4 -llmoe等专属参数控制热专家常驻与冷专家流的策略。另外还有一个单点预览数据DeepSeek-V4-Flash Q2在 15 GB 内存下跑出 428.50 t/s 预填充 / 17.39 t/s 解码记录见 docs/benchmarks/deepseek-v4-flash-preview.md平台规格确认后才会对外引用。桌面端怎么用模型广场里的本地部署Amis 桌面端为这套运行时提供了完整的产品界面。进入模型广场 → 本地模型部署选择一个模型例如 Qwen3.6-35B-A3B右侧会显示三块关键信息模型卡参数规模、GGUF 格式、量化方式、内存需求与建议预留空间本机环境检测芯片、总内存、当前可用内存、CPU 核心、GPU、磁盘剩余并直接给出兼容 / 内存紧张的判断运行参数启动模式Mix / GPU、线程数、GPU Layers 等支持保存为自定义 profile。这套界面对应的源码位于 src/renderer/src/components/model-hub/其中 deviceDetection.ts 负责本机硬件检测ModelActivationPage.tsx 是模型激活主页面。想自己复现基准测试克隆仓库后按 README.md 的 Quickstart 一节执行llama-bench命令即可完整的硬件、模型文件、命令与原始输出都已归档在 docs/benchmarks/ 目录下每个数字都可溯源。新手常见问题FAQ需要 GPU 吗不需要。默认目标是CPU 优先iGPU / dGPU / NPU 仅作机会性卸载。上面的正面对比就是纯 CPU-ngl 0跑出来的。会不会把 SSD 读写坏推理是读为主的负载运行时只是把冷权重页流式读入几乎不重写。现代 NVMe SSD 的 TBW可写入量评级普遍在数百 TB 起步日常交互使用离保修磨损上限非常远。它是 llama.cpp 的另一个分支吗不是。预览构建基于ik_llama沿用 GGUF 生态真正的工作在上层——AI Storage Expansion、MoE 感知激活与页感知调度这些与 llama.cpp 本身优化的维度正交。能上生产环境了吗目前是preview预览阶段Qwen3.5 系列已验证、Apple Silicon 在预览中Qwen3.6、Llama、DeepSeek-R1、GLM 等家族在路线图上。独立发行版、OpenAI 兼容本地端点、一行安装brew/apt/pip/ Docker都已在 Roadmap 中。和 Amis 桌面应用什么关系桌面应用是基于这套运行时构建的独立产品面其文档归档在 README.desktop-app.md首页 README 则专注运行时本身。写在最后AI Storage Expansion 的本质是把内存容量这个硬件约束转化为存储带宽调度这个软件问题。对于想在 MacBook、迷你主机或 AI PC 上私有化运行开源大模型的用户来说它给出了一条不靠加内存、不靠上云的路径同一台机器一半的内存更快的响应。项目首页与技术说明README.md基准测试归档目录docs/benchmarks/桌面端模型广场源码src/renderer/src/components/model-hub/赞分享【免费下载链接】Amis️ A local-first desktop workspace for private agents, local models, runtime visibility, and local/cloud routing.项目地址https://gitcode.com/gh_mirrors/amis/Amis点击查看免费下载相关推荐为什么本地大模型总是不够内存用Amis的AI存储扩展轻松解决内存天花板难题为什么本地大模型总是不够内存用Amis的AI存储扩展轻松解决内存天花板难题 跑本地大模型卡住大多数人的往往不是算力而是内存。Amis 开源项目中的 Ami如何在5分钟内搭建完全免费的本地语音转文字工作站Buzz终极指南如何在5分钟内搭建完全免费的本地语音转文字工作站Buzz终极指南 还在为会议录音整理而头疼吗每天面对海量音频视频内容手动转录不仅耗时耗力还面临隐私泄露的语音AI 应用本地部署桌面应用突破内存瓶颈llama.cpp内存池如何让大模型推理提速30%突破内存瓶颈llama.cpp内存池如何让大模型推理提速30% 你是否遇到过本地运行大模型时频繁卡顿、内存占用飙升的问题作为C/C实现的LLaMA模型人工智能大模型推理引擎本地部署模型推理服务模型量化创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

相关推荐

Django旅游网站开发实战:从MTV架构到订单系统与生产部署
Django旅游网站开发实战:从MTV架构到订单系统与生产部署

简介:基于Python与Django框架的旅游自主网站项目,面向Web开发入门者和需要完成课程设计的进阶学习者,适合作为毕业设计、课程设计、大作业、工程实训或初期项目立项的参考。网站围绕旅游业务组织功能,包含景点展示、路线规划、餐饮… · 2026/11/16 13:36:25

AI大模型驱动山洪监测预警系统:从方案拆解到本地部署实战
AI大模型驱动山洪监测预警系统:从方案拆解到本地部署实战

简介:这份PPT方案面向应急管理、水利信息化及智慧城市领域的方案设计者与技术人员,聚焦山洪灾害监测预警中多源数据融合不足、预警滞后、传统模型精度低等痛点,提出以AI大模型为核心的系统化建设思路。资源包共1个PPT文件,大小约2… · 2026/11/16 0:19:27

Label-studio ml 后端接入 YOLOV8 OBB:Model.py 核心解析与避坑指南
Label-studio ml 后端接入 YOLOV8 OBB:Model.py 核心解析与避坑指南

简介:这份资源是面向使用 Label Studio 进行半自动标注的算法工程师与深度学习开发者,提供 YOLOv8 目标检测 OBB(旋转框)模型接入 Label Studio ML 后端所需的 Model.py 文件。它解决的是在 Label Studio 中集成 YOLOv8 OBB 模型、… · 2026/11/16 15:26:59

工地太忙根本没时间复习考试,初级电工证怎么做千万别踩坑
工地太忙根本没时间复习考试,初级电工证怎么做千万别踩坑

工地太忙根本没时间复习考试,初级电工证怎么做千万别踩坑 工地太忙根本没时间复习考试,现在连电工证都要靠“刷题App”和“培训机构”来搞定。可别以为随便找个培训班就能拿到初级电工证,一不小心就可能 千万别踩坑… · 2026/11/16 16:22:15

淮南电工证在哪复审怎么操作?全国通用的复审流程你必须知道
淮南电工证在哪复审怎么操作?全国通用的复审流程你必须知道

淮南电工证在哪复审怎么操作?全国通用的复审流程你必须知道 不知道去哪报名怕被中介坑,你不是一个人。尤其是现在特种作业证越来越被重视,很多工人和企业在找淮南电工证复审的时候,最怕的就是被坑钱、走弯路,甚至拿不到全国通用的证书。今天咱们就来聊聊… · 2026/11/16 16:22:15

南宁全国通用电工证怎么考?真实经历告诉你别被中介骗了
南宁全国通用电工证怎么考?真实经历告诉你别被中介骗了

南宁全国通用电工证怎么考?真实经历告诉你别被中介骗了 不知道去哪报名怕被中介坑?你不是一个人。前年有个朋友在南宁想考电工证,结果被中介坑了两千多,最后还差点考不过。今天我就从真实经历出发,带你看清楚南宁全国通用电工证怎么考,怎么避坑,怎么高… · 2026/11/16 16:22:15

新田电工证上岗必备实操考试怎么准备才不挂科
新田电工证上岗必备实操考试怎么准备才不挂科

新田电工证上岗必备实操考试怎么准备才不挂科 实操考试心里没底怕挂科,这个坎儿卡住了不少人,尤其是三门峡市政公用工程从业者的朋友们。很多人拿到【新田电工证】后,第一反应就是:这证是上岗必备,但能不能顺利通过实操考试,直接关系到能否真正上手干活… · 2026/11/16 16:22:15

电工作业规范法及法规培训怎么选?证书过期了不知道怎么复审延期?多少钱最划算?
电工作业规范法及法规培训怎么选?证书过期了不知道怎么复审延期?多少钱最划算?

电工作业规范法及法规培训怎么选?证书过期了不知道怎么复审延期?多少钱最划算? 证书过期了不知道怎么复审延期,是不是你最近最头疼的事?别慌,这不光是你的困扰,也是很多从事电工作业的同行的共同痛点。尤其是像洛阳涧西区的水利工程从业者,日常接触高… · 2026/11/16 16:22:15

上高办电工证实操考试心里没底怕挂科?良心建议来了
上高办电工证实操考试心里没底怕挂科?良心建议来了

上高办电工证实操考试心里没底怕挂科?良心建议来了 实操考试心里没底怕挂科,这几乎是所有准备上高办电工证的学员心里最真实的声音。尤其是像我这样从漯河转岗过来的从业者,深知特种作业证在行业中的分量,也明白一纸证书背后是无数个小时的培训和实操练习… · 2026/11/16 16:21:14

长春初级电工证怎么考?通过率揭秘全在这里
长春初级电工证怎么考?通过率揭秘全在这里

长春初级电工证怎么考?通过率揭秘全在这里 之前考的证在外省能不能转过来?这几乎是每个想从事电工工作的人都会问的问题。特别是那些在外地打拼多年、手里握着一张“外地电工证”的人,到了长春想继续干这一行,第一反应就是“我的证能用吗?”。今天我们就… · 2026/11/16 3:21:55

国内电工证报考条件与考试时间
国内电工证报考条件与考试时间

低压电工证怎么考?学历不高也能报名,官方报名入口全在这 你是不是经常听说“电工证是入行门槛”,但又担心自己学历不够、经验不足,根本报不了名?别急,今天就带你从零了解【国内电工证】的报考流程、考试内容,还有怎么在 官方报名入口… · 2026/11/16 3:01:18

电工作业时如何断电?电子证书到底能不能全国通用?
电工作业时如何断电?电子证书到底能不能全国通用?

电工作业时如何断电?电子证书到底能不能全国通用? 实操考试心里没底怕挂科,特别是电工作业时如何断电这一操作,不仅关系到你能不能拿到证书,更关系到以后能不能顺利上岗。很多人觉得这不过就是“断个电”,但其实这里面的门道可不少,稍有不慎就可能出错… · 2026/11/16 8:30:17

电工证培训的通知在哪考?别再被中介骗了
电工证培训的通知在哪考?别再被中介骗了

电工证培训的通知在哪考?别再被中介骗了 你是不是还在为 电工证培训的通知在哪考 发愁?网上搜了一堆信息,结果要么是挂羊头卖狗肉的培训机构,要么就是打着“包过”旗号的骗子?别急,今天我来给你讲讲, 电工证培训的通知… · 2026/11/16 0:00:34

高级电工证企业认可吗保姆级教程:实操考试心里没底怕挂科?看完这些建议再考不迟
高级电工证企业认可吗保姆级教程:实操考试心里没底怕挂科?看完这些建议再考不迟

高级电工证企业认可吗保姆级教程:实操考试心里没底怕挂科?看完这些建议再考不迟 你是不是也这样,站在高压电工实操考试的设备前,手心冒汗,生怕一个操作失误就被判不合格?实操考试心里没底怕挂科,这是很多准备考高级电工证的人的真实写照。别担心,今天… · 2026/11/16 0:00:34

电工证去哪个部门考核值不值得考 信阳转岗人真实经历分享
电工证去哪个部门考核值不值得考 信阳转岗人真实经历分享

电工证去哪个部门考核值不值得考 信阳转岗人真实经历分享 怕考不过白交培训费?你不是一个人,信阳的李师傅去年刚转岗做电工,就因为没搞清楚电工证去哪个部门考核,差点交了8000块的培训费。别急,下面这份实操考试全攻略,告诉你电工证到底值不值得考… · 2026/11/16 0:00:34

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/15 1:51:20

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/15 4:02:19

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/15 3:02:05

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码