首页/新闻资讯/正文详情

SLIM: A Heterogeneous Accelerator for Edge Inference of Sparse Large Language Model via Adaptive ...

发布时间:2026/9/26 10:24:41 来源:云帆数科 栏目:资讯中心
SLIM: A Heterogeneous Accelerator for Edge Inference of Sparse Large Language Model via Adaptive ...
文章主要内容总结本文提出了一种名为SLIM的异构加速器,旨在解决资源受限的边缘设备上稀疏大语言模型(LLM)推理的效率问题。LLM虽在自然语言处理中表现卓越,但因其模型规模庞大、内存密集型操作(如前馈网络FFN和多头注意力MHA),在边缘设备上高效推理面临挑战。SLIM通过算法与硬件协同设计,充分利用LLM的稀疏性(推理中多数神经元未激活),仅处理激活的神经元以减少数据移动。具体而言:算法层面:提出基于自适应阈值的高效推理算法,支持运行时可配置的稀疏性,且精度损失可忽略;硬件层面:设计异构架构,结合近存储处理(NSP)和存内处理(PIM)技术——FFN权重存储在高密度3D NAND中,由NSP单元计算,缓解内存需求;内存密集型的MHA由PIM模块处理,降低数据移动和能耗;性能评估:SLIM在吞吐量上比SSD-GPU系统提升13-18倍,能效比DRAM-GPU系统提升9-10倍,同时保持低延迟。创新点自适应稀疏性推理算法:通过低秩稀疏预测与阈值机制,实现运行时稀疏性可调,平衡效率与精度,且无需大量微调,部署成本低;异构NSP-PIM硬件架构:整合SSD的NSP和DRAM的PIM优势,FFN在NSP处理、MHA在PIM处理,避免PCIe总线的数据传输瓶颈,适合资源受限的边缘环境;系统级优化

相关推荐

vi显示行号与查找命令实战:TaoToken统一Key接入Cline的settings.json配置骨架
vi显示行号与查找命令实战:TaoToken统一Key接入Cline的settings.json配置骨架

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/26 10:24:41

浏览器端1024维向量检索:TensorFlow.js与Web Worker实现零云端成本以图搜图
浏览器端1024维向量检索:TensorFlow.js与Web Worker实现零云端成本以图搜图

浏览器里跑 1024 维向量检索,还能做到零云端成本、数据不出设备——这个组合放在两年前我会觉得是标题党,但用 TensorFlow.js 配合 Web Worker 实际跑通之后,我改主意了。整套方案的核心思路很直接:把视觉特征提取和向量相似度计算… · 2026/9/26 10:24:35

Automating Expert-Level Medical Reasoning Evaluation of Large Language Models
Automating Expert-Level Medical Reasoning Evaluation of Large Language Models

文章主要内容总结 本文针对大型语言模型(LLMs)在临床决策中应用时的医学推理能力评估问题,提出了一套解决方案。核心内容包括: MedThink-Bench基准数据集:包含500个复杂医学问题,覆盖10个医学领域(如病理学、诊断、治疗等),每个问题均由医学专家标注细粒度、分步的推… · 2026/9/26 10:24:35

我的 Vibe Coding 第一个项目:用 VS Code 插件配 TaoToken 打通 AI 编码链路
我的 Vibe Coding 第一个项目:用 VS Code 插件配 TaoToken 打通 AI 编码链路

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/26 11:00:24

AI Agent Harness Engineering 记忆机制深度解析:7 种实现方案与抗遗忘优化技巧(TaoToken 统一 Key 配置实战)
AI Agent Harness Engineering 记忆机制深度解析:7 种实现方案与抗遗忘优化技巧(TaoToken 统一 Key 配置实战)

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/26 11:00:24

人才招聘系统|基于java+ vue人才招聘系统(源码+数据库+文档)
人才招聘系统|基于java+ vue人才招聘系统(源码+数据库+文档)

人才招聘系统 目录 基于springboot vue人才招聘系统 一、前言 二、系统功能演示 三、技术选型 四、其他项目参考 五、代码参考 六、测试参考 七、最新计算机毕设选题推荐 八、源码获取: 基于springboot vue人才招聘系统 一、前言 博主介绍:✌… · 2026/9/26 11:00:24

多款 PDF 转换工具能力客观记录
多款 PDF 转换工具能力客观记录

日常办公、资料归档、文献整理时,经常需要 PDF 与 Word、Excel、PPT、图片之间互相转换。不同 PDF 转换工具的排版还原效果、OCR 识别能力、批量处理上限存在明显差异。下文客观记录多款 PDF 转换工具基础能力与使用边界,本文无任何商业合作,… · 2026/9/26 11:00:18

Git仓库 不稳定解决
Git仓库 不稳定解决

微软edge浏览器使用命令 键盘按下 Win X -> 终端(管理员)输入 &“C:\Program Files (x86)\Microsoft\Edge\Application\msedge.exe” --host-rules“MAP github.com octocaptcha.com, MAP github.githubassets.com yelp.com, MAP *.githubuserco… · 2026/9/26 11:00:18

ITM模型软件实战:Longley-Rice电波预测从原理到工程应用
ITM模型软件实战:Longley-Rice电波预测从原理到工程应用

简介:这套软件基于Longley-Rice(ITM)传播模型,专用于无线通信场景下的信号损耗预测,可辅助移动通信基站覆盖规划、广播台选址、无线数据链路设计等任务,适合通信工程师、射频规划人员及通信专业学生结合自身… · 2026/9/26 11:00:18

数据库课后习题答案别硬背:当测试用例集刷,效率翻倍
数据库课后习题答案别硬背:当测试用例集刷,效率翻倍

简介:万常选版《数据库原理与设计》课后习题答案资源,覆盖第2至6章及第9章,适合正在学习关系模型、数据库建模、关系数据理论与模式求精的本科生、自学者作为复习与自测材料。压缩包共7个文件,含3个doc参考答案、2个sql示例脚本、… · 2026/9/26 0:00:21

OpenClaw 替代品?Hermes Agent 踩坑实录:macOS 飞书接入 TaoToken 配置
OpenClaw 替代品?Hermes Agent 踩坑实录:macOS 飞书接入 TaoToken 配置

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/26 0:00:40

向下兼容与向上兼容:接口设计中的兼容性策略与工程实践
向下兼容与向上兼容:接口设计中的兼容性策略与工程实践

一次版本升级事故,是很多团队绕不过去的坎。线上环境里,服务端明明已经上线了新版接口,老的移动端还在照着旧文档传参数。请求一到网关,校验直接拒绝,用户操作失败,客服群炸了锅,开发群里开始互… · 2026/9/26 0:00:46

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码