基础知识【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit[!NOTE]说明 本节内容为使用高阶API进行矩阵乘法的编程指导。使用高阶API进行实际的矩阵编程时需要通过API参考确认接口支持的产品型号。矩阵乘法概述Matmul的计算公式为C A * B bias其示意图如下。A、B为源操作数A为左矩阵形状为[M, K]B为右矩阵形状为[K, N]。C为目的操作数存放矩阵乘结果的矩阵形状为[M, N]。bias为矩阵乘偏置形状为[1, N]。对A*B结果矩阵的每一行都采用该bias进行偏置。图1Matmul矩阵乘示意图矩阵乘法数据流在了解矩阵乘法数据流之前需要先回顾一下几个重要的存储逻辑位置的概念逻辑位置和物理存储的映射关系请参考逻辑位置和物理存储的映射关系搬入数据的存放位置A1用于存放整块A矩阵可类比CPU多级缓存中的二级缓存搬入数据的存放位置B1用于存放整块B矩阵可类比CPU多级缓存中的二级缓存搬入数据的存放位置C1用于存放整块的矩阵乘偏置Bias矩阵可类比CPU多级缓存中的二级缓存搬入数据的存放位置A2用于存放切分后的小块A矩阵可类比CPU多级缓存中的一级缓存搬入数据的存放位置B2用于存放切分后的小块B矩阵可类比CPU多级缓存中的一级缓存搬入数据的存放位置C2用于存放切分后的小块矩阵乘偏置Bias矩阵可类比CPU多级缓存中的一级缓存结果数据的存放位置CO1用于存放小块结果C矩阵可理解为Cube Out结果数据的存放位置CO2用于存放整块结果C矩阵可理解为Cube Out搬入数据的存放位置VECCALC一般在计算需要临时变量时使用此位置。矩阵乘法数据流指矩阵乘的输入输出在各存储位置间的流向。逻辑位置的数据流向如下图所示为了简化描述没有列出biasA矩阵从输入位置到A2的数据流如下输入位置可以是GM或者VECOUTGM-A2GM-A1-A2VECOUT-A1-A2。由于A1比A2的空间更大数据从GM或VECOUT可以先搬入A1进行缓存待该数据执行Cube计算前数据直接从A1搬入A2这样在搬运大量数据时可以减少计算前的等待时间提升性能只有在搬入数据较少的场景才可能使用GM-A2的数据流。B矩阵从输入位置到B2的数据流如下输入位置可以是GM或者VECOUTGM-B2GM-B1-B2VECOUT-B1-B2。由于B1比B2的空间更大数据从GM或VECOUT可以先搬入B1进行缓存待该数据执行Cube计算前数据直接从B1搬入B2这样在搬运大量数据时可以减少计算前的等待时间提升性能只有在搬入数据较少的场景才可能使用GM-B2的数据流。完成A2*B2CO1计算。CO1数据汇聚到CO2CO1-CO2。从CO2到输出位置输出位置可以是GM或者VECINCO2-GM/CO2-VECIN。数据格式在完成Matmul矩阵乘法时主要涉及到两种分形格式ND和NZ。其它的数据格式请参考数据排布格式。ND普通格式N维张量。NZ为满足AI Core中Cube计算单元高性能计算的需要引入该特殊格式。ND – NZ的变换过程为(..., N, H, W )-pad-(..., N, H1*H0, W1*W0)-reshape-(..., N, H1, H0, W1, W0)-transpose-(..., N, W1, H1, H0, W0)如下图所示WH大小的矩阵被分为H1*W1个分形按照列优先排布形状如N字形每个分形内部有H0*W0个元素按照行优先排布形状如z字形。所以这种数据格式称为NZ大N小Z格式。下面我们再通过一个具体的例子来深入理解ND和NZ格式的数据排布区别。假设分形格式为2*2如下图所示4*4的矩阵ND144和NZ12222格式存储的情况下数据在内存中的排布格式分别为ND: 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15NZ: 0, 1, 4, 5, 8, 9, 12, 13, 2, 3, 6, 7, 10, 11, 14, 15数据分块Tiling多核切分为了实现多核并行需要将矩阵数据进行切分分配到不同的核上进行处理。切分策略如下图所示对于A矩阵沿着M轴进行切分切分成多份的singleCoreM单核上处理SingleCoreM * K大小的数据。对于B矩阵沿着N轴进行切分切分成多份的singleCoreN单核上处理K * SingleCoreN大小的数据。对于C矩阵SingleCoreM * K大小的A矩阵和K * SingleCoreN大小的B矩阵相乘得到SingleCoreM * SingleCoreN大小的C矩阵即为单核上输出的C矩阵大小。比如下图中共有8个核参与计算将A矩阵沿着M轴划分为4块将B矩阵沿着N轴切分为两块单核上仅处理某一分块比如图中绿色部分为core3上参与计算的数据SingleCoreM * K大小的A矩阵分块和SingleCoreN* K大小的B矩阵分块相乘得到SingleCoreM * SingleCoreN大小的C矩阵分块。另外单核上处理的K轴长度为SingleCoreK对于K轴较大的场景可以沿着K轴进行切分切分成多份的singleCoreK详细案例介绍请参考Matmul高阶API开启多核切K。核内切分大多数情况下Local Memory的存储无法完整的容纳算子的输入与输出需要每次搬运一部分输入进行计算然后搬出再搬运下一部分输入进行计算直到得到完整的最终结果也就是需要做核内的输入切分。切分的策略如下所示对于A矩阵沿M轴进行切分将singleCoreM切分成多份的baseM切分成的份数对应图示的mIter沿K轴进行切分切分成多份的baseK。对于B矩阵沿N轴进行切分将singleCoreN切分成多份的baseN切分成的份数对应图示的nIter沿K轴进行切分切分成多份的baseK。对于C矩阵A矩阵中baseM*baseK大小的分块和B矩阵中baseK*baseN大小的分块相乘并累加得到C矩阵中对应位置baseM*baseN大小的分块。比如图中结果矩阵中的绿色矩阵块5是通过如下的累加过程得到的a*ab*bc*cd*de*ef*f。除了基本块形状baseM, baseN, baseK外还有一些常用的tiling参数其含义如下iterateOrder一次Iterate迭代计算出[baseM, baseN]大小的C矩阵分片。Iterate完成后Matmul会自动偏移下一次Iterate输出的C矩阵位置iterateOrder表示自动偏移的顺序。0代表先往M轴方向偏移再往N轴方向偏移1代表先往N轴方向偏移再往M轴方向偏移。在上图的示例中iterateOrder取值为0。depthA1depthB1L1 BufferA1、L1 BufferB1中存储的矩阵片分别全载到L0A BufferA2、L0B BufferB2的份数L0A BufferA2、L0B BufferB2的存储大小分别是baseM * baseK、baseN * baseK即depthA1是A1矩阵切片含有baseM * baseK块的个数depthB1是B1矩阵切片含有baseN * baseK块的个数。stepMstepNstepM为左矩阵在L1 BufferA1中缓存的buffer M方向上baseM的倍数stepN为右矩阵在L1 BufferB1中缓存的buffer N方向上baseN的倍数。stepKastepKbstepKa为左矩阵在L1 BufferA1中缓存的buffer K方向上baseK的倍数stepKb为右矩阵在L1 BufferB1中缓存的buffer K方向上baseK的倍数。【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
企业数字化 ERP 产品动态
相关推荐
Inkling-NVFP4-mlx-4bit量化技术详解:从NVFP4到MLX 4-bit的转换过程 Inkling-NVFP4-mlx-4bit量化技术详解:从NVFP4到MLX 4-bit的转换过程 【免费下载链接】Inkling-NVFP4-mlx-4bit 项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Inkling-NVFP4-mlx-4bit
Inkling-NVFP4-mlx-4bit是基于Thinking Machines Inkling… · 2026/11/17 3:54:36
Litarvan主题常见问题解决:安装失败、样式异常与性能优化指南 Litarvan主题常见问题解决:安装失败、样式异常与性能优化指南 【免费下载链接】lightdm-webkit-theme-litarvan Litarvans LightDM HTML Theme 项目地址: https://gitcode.com/gh_mirrors/li/lightdm-webkit-theme-litarvan
Litarvans LightDM HTML Theme是一… · 2026/11/14 9:29:56
为什么选择Onex?黑客必备的Linux工具包管理器深度评测 为什么选择Onex?黑客必备的Linux工具包管理器深度评测 【免费下载链接】onex onex is a hacking tool installer and package manager for hackers. Onex is a library of all hacking tools for Termux and other Linux distributions. onex can install any third… · 2026/11/14 8:14:03
株洲市高压电工证值不值得考?别被中介骗了 株洲市高压电工证值不值得考?别被中介骗了 你是不是也在纠结,株洲市高压电工证到底值不值得考?报名又怕被中介坑?别急,咱今天就来聊聊这个事儿,讲得都是真干货,不绕弯子。 一、高压电工证值不值得考?先看看它到底能干啥… · 2026/11/17 3:54:12
抚州电工证考试流程含金量高吗?怕考不过白交培训费?这篇全讲透 抚州电工证考试流程含金量高吗?怕考不过白交培训费?这篇全讲透 怕考不过白交培训费?抚州电工证考试流程其实没你想的那么难,关键在于你是不是真的懂流程。很多在河南工地上的电工朋友都反映,培训费花了不说,考试不通过还得重来,时间成本和金钱成本都高… · 2026/11/17 3:54:12
电工证到底用处大吗良心建议帮你搞懂证书真实价值 电工证到底用处大吗良心建议帮你搞懂证书真实价值 之前考的证在外省能不能转过来?这是很多在外地工作的朋友最关心的问题。尤其是像在鹤壁从事房建工程的电工,常常需要跨区域流动作业,证书能不能异地使用就成了刚需。今天咱就来唠唠【电工证到底用处大吗】… · 2026/11/17 3:54:11
苏州电工证新政策通过率揭秘:外省证能转吗?备考攻略全解析 苏州电工证新政策通过率揭秘:外省证能转吗?备考攻略全解析 之前考的证在外省能不能转过来?这几乎是每个准备在苏州从事电工相关工作的人都会问的问题。别急,今天我就从实战角度告诉你,苏州电工证新政策到底怎么变,如何提高通过率,还有备考过程中那些你… · 2026/11/17 3:54:11
什么特种工好考 工地太忙根本没时间复习考试 怎么多久拿证 什么特种工好考 工地太忙根本没时间复习考试 怎么多久拿证 工地太忙根本没时间复习考试,这几乎是每个劳务班组负责人的心声。项目进度紧、任务重,还要兼顾人员培训、证书办理,很多工人甚至连考试时间都挤不出来。而“什么特种工好考”“多久拿证”这类问… · 2026/11/17 3:53:11
长春初级电工证怎么考?通过率揭秘全在这里 长春初级电工证怎么考?通过率揭秘全在这里 之前考的证在外省能不能转过来?这几乎是每个想从事电工工作的人都会问的问题。特别是那些在外地打拼多年、手里握着一张“外地电工证”的人,到了长春想继续干这一行,第一反应就是“我的证能用吗?”。今天我们就… · 2026/11/16 3:21:55
国内电工证报考条件与考试时间 低压电工证怎么考?学历不高也能报名,官方报名入口全在这 你是不是经常听说“电工证是入行门槛”,但又担心自己学历不够、经验不足,根本报不了名?别急,今天就带你从零了解【国内电工证】的报考流程、考试内容,还有怎么在 官方报名入口… · 2026/11/16 3:01:18
电工作业时如何断电?电子证书到底能不能全国通用? 电工作业时如何断电?电子证书到底能不能全国通用? 实操考试心里没底怕挂科,特别是电工作业时如何断电这一操作,不仅关系到你能不能拿到证书,更关系到以后能不能顺利上岗。很多人觉得这不过就是“断个电”,但其实这里面的门道可不少,稍有不慎就可能出错… · 2026/11/16 8:30:17
安徽特种工考证学校千万别踩坑,学历不高也能考证上岗 安徽特种工考证学校千万别踩坑,学历不高也能考证上岗 你是不是总觉得学历不高就考不了证,连报名资格都够不上?其实,很多人和你一样,学历不占优势,但想通过考证转行或提升自己的职业竞争力。安徽特种工考证学校虽然门槛不高,但千万别踩坑,稍有不慎就会… · 2026/11/17 0:00:20
你没学历也能考福田特种作业操作证?真实经历告诉你怎么干 你没学历也能考福田特种作业操作证?真实经历告诉你怎么干 你是不是觉得学历不高就考不上福田特种作业操作证?其实不然,我有个老乡,初中毕业,现在在安阳干焊工,每月拿8000多,还评上了高级技师。他的经历我今天就给你说说,看看你能不能照着走。… · 2026/11/17 0:00:20
低压电工证哪里盖章怎么报名 过期了别慌教你一步步复审 低压电工证哪里盖章怎么报名 过期了别慌教你一步步复审 证书过期了不知道怎么复审延期?低压电工证是很多电工从业者必须持有的证件,一旦到期未及时办理复审,不仅影响工作,还可能面临被单位辞退甚至罚款。今天我就从南阳地区培训机构学员的角度,详细告诉… · 2026/11/17 0:00:20
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/16 16:48:43
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/16 16:48:57
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/16 16:48:48