首页/新闻资讯/正文详情

HaLoRA: Hardware-aware Low-Rank Adaptation for Large Language Models Based on Hybrid Compute-in-Memo

发布时间:2026/11/3 10:28:54 来源:云帆数科 栏目:资讯中心
HaLoRA: Hardware-aware Low-Rank Adaptation for Large Language Models Based on Hybrid Compute-in-Memo
### 摘要低秩自适应(LoRA)是一种主流的参数高效微调方法,用于使大语言模型(LLMs)适应下游任务。在本文中,我们首次提出将 LoRA 微调后的大语言模型部署在混合内存计算(CIM)架构上(即,预训练权重存储在 RRAM 中,LoRA 存储在 SRAM 中)。为了解决 RRAM 固有噪声导致的性能下降问题,我们设计了一种新颖的硬件感知低秩自适应(HaLoRA)方法,旨在通过对齐理想和噪声条件下的训练目标,训练出既稳健又准确的 LoRA 分支。对 LLaMA 3.2 1B 和 3B 模型进行微调的实验证明了 HaLoRA 在多个推理任务中的有效性,在不同噪声水平下保持稳健性的同时,平均得分提高了 22.7。### 引言大语言模型(LLMs),如 GPT-4、LLaMA 和 Qwen,在各种自然语言处理(NLP)任务中展现出了出色的性能。然而,这种主要由大量模型参数驱动的成功,在实际应用中带来了两个关键挑战。第一,通过全模型微调使大语言模型适应下游任务需要巨大的计算资源。第二,模型推理需要大量的能源消耗,限制了这些模型的广泛部署。为了解决适应性限制问题,人们提出了各种参数高效微调(PEFT)方法。其中,低秩自适应(LoRA)因其简单有效而越来越受欢迎,它只需更新一个额外的低秩矩阵,同时保留原始的预训练权重。与此同时,为了提高推理效率,内存计算(CIM)架构直接在内存阵列中进行计算,通过阵列级并行计算实现高能效。电阻式随机存取存储器(RRAM)和静态随机存取存储器(SRAM)是用于 CIM 实现的两种典型存储设备。然而,将 LoRA 微调后的大语言模型部署在 CIM 架构上在很大程度上仍未被探索,这既带来了挑战,也带来了机遇。在本文中,我们提出了一种混合部署策略,利用基于 RRA

相关推荐

DeepSeek-V4.1-Flash-1017-oQ3e-mtp能看图吗?视觉编码器与多模态对齐器实战解析
DeepSeek-V4.1-Flash-1017-oQ3e-mtp能看图吗?视觉编码器与多模态对齐器实战解析

DeepSeek-V4.1-Flash-1017-oQ3e-mtp能看图吗?视觉编码器与多模态对齐器实战解析 一句话结论:能,而且是"原生看图"。 DeepSeek-V4.1-Flash-1017-oQ3e-mtp 是一个多模态视觉语言模型(pipeline 为 image-text-to-text&… · 2026/11/3 10:28:54

DeepSeek-V4.1-Flash-1017-oQ3e-mtp的DSpark投机解码有多快?3层MTP原理全拆解
DeepSeek-V4.1-Flash-1017-oQ3e-mtp的DSpark投机解码有多快?3层MTP原理全拆解

DeepSeek-V4.1-Flash-1017-oQ3e-mtp的DSpark投机解码有多快?3层MTP原理全拆解 DeepSeek-V4.1-Flash-1017-oQ3e-mtp 是 552B MoE 多模态大模型 DeepSeek-V4.1-Flash-1017 的 MLX 混合精度量化(oQ3e)部署版,内置 DSpark 投机解码与… · 2026/11/3 10:28:54

AiSOC AI 资产发现:用三条既有遥测路径构建可观测的 AI 资产清单
AiSOC AI 资产发现:用三条既有遥测路径构建可观测的 AI 资产清单

人工智能AI Agent网络安全后端前端 【免费下载链接】AiSOC Open-source AI Security Operations Center: alert fusion, LLM-agent triage, MITRE ATT&CK investigation, and a replayable decision ledger for every agent step. Self-hostable, runs with no API keys, M… · 2026/11/3 10:27:54

ObjectMapper从入门到精通:序列化配置、泛型与性能优化实战
ObjectMapper从入门到精通:序列化配置、泛型与性能优化实战

做后端开发这些年,序列化这块踩过的坑真不少。早期用原生手写拼JSON,字段一多就乱套;后来换成Jackson,一开始也只是停留在writeValueAsString和readValue两个方法上,直到项目里遇到泛型反序列化、日期格式错乱、循环引… · 2026/11/3 12:03:00

端口镜像+Wireshark定位空载口SSDP异常流量
端口镜像+Wireshark定位空载口SSDP异常流量

简介:围绕Wireshark抓包定位网络故障的实战型docx文档,面向网络运维、系统集成与网络安全初学者及一线工程师,重点解决VLAN端口流量突增、异常报文排查和攻击源定位等问题。压缩包内共1个docx文件,大小约385KB,以案例讲… · 2026/11/3 12:03:00

制造buzz:从话题钩子到用户自传播的完整实战拆解
制造buzz:从话题钩子到用户自传播的完整实战拆解

buzz这个词,在营销圈里被反复念叨,但大多数人对它的理解其实很模糊。有人说它是“刷屏”,有人说它是“热度”,还有人干脆把它等同于“追热点”。我做了这么多年增长和品牌运营,越来越觉得,buzz本质上不是某… · 2026/11/3 12:03:00

MATLAB多无人机协同目标搜索与围捕仿真:概率地图与势场收拢
MATLAB多无人机协同目标搜索与围捕仿真:概率地图与势场收拢

调试这套仿真的头一个星期,我做的最多的事情不是写算法,而是盯着那五条轨迹发愣:它们要么在搜索阶段互相撞在一起,要么在围捕阶段绕着目标画出一个歪歪扭扭的多边形,然后集体停在某个角落不动了。项目标题里"多无… · 2026/11/3 12:03:00

端口流量异常排查实战:Wireshark抓包、镜像与SSDP泛洪定位
端口流量异常排查实战:Wireshark抓包、镜像与SSDP泛洪定位

简介:这是一份面向网络运维与故障排查人员的实战案例文档,围绕Wireshark抓包处理网络故障展开,重点解决VLAN内端口流量突增、AP空载却出现大量数据包等异常场景。资源包共1个docx文件,大小385KB,内容以锐捷交换机为案例… · 2026/11/3 12:03:00

.NET Native AOT编译技术解析与实战优化
.NET Native AOT编译技术解析与实战优化

1. Native AOT编译的本质与价值 在传统.NET开发中,JIT(Just-In-Time)编译是运行时性能的核心瓶颈之一。当应用启动时,CLR需要将IL代码实时编译为机器码,这个过程不仅消耗CPU资源,还会导致明显的启动延迟。而… · 2026/11/3 12:01:57

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/2 13:10:28

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 6:04:24

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 5:52:46

STM32F411RE与MAX14431实现SPI隔离:工业现场抗共模干扰实战
STM32F411RE与MAX14431实现SPI隔离:工业现场抗共模干扰实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 1:01:59

ESP32+大模型AI硬件开发:从Demo到产品的8个工程问题
ESP32+大模型AI硬件开发:从Demo到产品的8个工程问题

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 1:01:59

基于MAX14431BAEE+与PIC18F85J10的SPI隔离方案设计与实践
基于MAX14431BAEE+与PIC18F85J10的SPI隔离方案设计与实践

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 1:01:59

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/2 13:10:28

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 6:04:24

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 5:52:46

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码