首页/新闻资讯/正文详情

CANN/asc-devkit SIMD算子L2缓存优化

发布时间:2026/11/17 3:40:30 来源:云帆数科 栏目:资讯中心
CANN/asc-devkit SIMD算子L2缓存优化
设置合理的L2 CacheMode【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit【优先级】高[!NOTE]说明 该性能优化指导适用于如下产品型号Ascend 950PR/Ascend 950DTAtlas A3 训练系列产品/Atlas A3 推理系列产品Atlas A2 训练系列产品/Atlas A2 推理系列产品【描述】L2 Cache常用于缓存频繁访问的数据其物理位置如下图所示L2 Cache的带宽相比GM的带宽有数倍的提升因此当数据命中L2 Cache时数据的搬运耗时会优化数倍。通常情况下L2 Cache命中率越高算子的性能越好在实际访问中需要通过设置合理的L2 CacheMode来保证重复读取的数据尽量缓存在L2 Cache上。L2 Cache访问的原理及CacheMode介绍数据通过MTE2搬运单元搬入时L2 Cache访问的典型流程如下数据通过MTE3或者Fixpipe搬运单元搬出时L2 Cache访问的典型流程如下从上面的流程可以看出当数据访问总量超出L2 Cache容量时AI Core会对L2 Cache进行数据替换。由于Cache一致性的要求替换过程中旧数据需要先写回GM此过程中会占用GM带宽旧数据写回后新的数据才能进入L2 Cache。开发者可以针对访问的数据设置其CacheMode对于只访问一次的Global Memory数据设置其访问状态为不进入L2 Cache这样可以更加高效的利用L2 Cache缓存需要重复读取的数据避免一次性访问的数据替换有效数据。设置L2 CacheMode的方法Ascend C基于GlobalTensor提供了SetL2CacheHint接口用户可以根据需要指定CacheMode。考虑如下场景构造两个Tensor的相加计算输入x、y和输出z的Shape均为(8192, 8192)。下文完整样例请参考设置合理L2 CacheMode样例。实现方案原始实现优化实现实现方法总数据量384MB其中x128MBy128MBz128MB。使用48个核参与计算按行方向切分6份列方向切分8份。x、y、z对应GlobalTensor的CacheMode均设置为CACHE_MODE_NORMAL需要经过L2 Cache需要进入L2 Cache的总数据量为384MB。总数据量384MB其中x128MBy128MBz128MB。使用48个核参与计算按行方向切分6份列方向切分8份。z对应的GlobalTensor的CacheMode设置为CACHE_MODE_NORMALx和y对应的GlobalTensor的CacheMode设置为CACHE_MODE_DISABLE。只将z设置为需要经过L2 Cache。需要进入L2 Cache的总数据量为128MB。示例代码xGm.SetGlobalBuffer((__gm__ half *)x startM * totalN startN, bufferSize); yGm.SetGlobalBuffer((__gm__ half *)y startM * totalN startN, bufferSize); zGm.SetGlobalBuffer((__gm__ half *)z startM * totalN startN, bufferSize);xGm.SetGlobalBuffer((__gm__ half *)x startM * totalN startN, bufferSize); yGm.SetGlobalBuffer((__gm__ half *)y startM * totalN startN, bufferSize); zGm.SetGlobalBuffer((__gm__ half *)z startM * totalN startN, bufferSize); // disable the L2 cache mode of x and y xGm.SetL2CacheHint(AscendC::CacheMode::CACHE_MODE_DISABLE); yGm.SetL2CacheHint(AscendC::CacheMode::CACHE_MODE_DISABLE);[!NOTE]说明 你可以通过执行如下命令行通过msOpProf工具获取上述示例的性能数据并进行对比。msopprof --launch-count2 --output./prof ./execute_add_op重点关注Memory.csv中的aiv_gm_to_ub_bw(GB/s)和aiv_main_mem_write_bw(GB/s)写带宽的速率。【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

相关推荐

Parabolic视频下载器架构解析:基于yt-dlp的跨平台下载解决方案技术实现
Parabolic视频下载器架构解析:基于yt-dlp的跨平台下载解决方案技术实现

Parabolic视频下载器架构解析:基于yt-dlp的跨平台下载解决方案技术实现 【免费下载链接】Parabolic Download web video and audio 项目地址: https://gitcode.com/GitHub_Trending/pa/Parabolic Parabolic是一款基于yt-dlp引擎的开源跨平台视频下载器&#… · 2026/11/16 21:31:13

music-dl安全使用指南:合法合规的音乐下载最佳实践
music-dl安全使用指南:合法合规的音乐下载最佳实践

music-dl安全使用指南:合法合规的音乐下载最佳实践 【免费下载链接】music-dl Music Searcher and Downloader. - 音乐搜索下载器。 项目地址: https://gitcode.com/gh_mirrors/musi/music-dl music-dl是一款功能强大的音乐搜索下载工具,能够帮助… · 2026/11/8 3:33:29

CANN/asc-devkit HCCL服务端类型配置
CANN/asc-devkit HCCL服务端类型配置

HcclServerType 【免费下载链接】asc-devkit 本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言,原生支持C和C标准规范,主要由类库和语言扩展层构成,提供多层级API,满足多维场景算子开发诉求。 项目地址: https://gitcode… · 2026/11/7 11:54:24

电工证考试双控,官方回应:别再怕考不过白交培训费
电工证考试双控,官方回应:别再怕考不过白交培训费

电工证考试双控,官方回应:别再怕考不过白交培训费 怕考不过白交培训费?别急,听老哥一说你就明白了。最近各地市安全生产教育培训中心都收到不少学员咨询,说“双控”考试难度大、内容杂,考不过钱就白花了。其实,只要方法对了,考试通关根本不是问题。下… · 2026/11/17 3:40:10

于洪电工证培训价格低学历也能报?考前押题帮你稳过
于洪电工证培训价格低学历也能报?考前押题帮你稳过

于洪电工证培训价格低学历也能报?考前押题帮你稳过 学历不高怕报不上名?别急, 于洪电工证培训价格 其实不贵,关键是选对渠道。很多人觉得没学历考不了电工证,其实国家规定只要年满18周岁、具备初中及以上文化程度,就能报名参加特种作业操作证考试,… · 2026/11/17 3:40:10

低压电工证申请证明怎么弄?证书过期了不知道怎么复审延期
低压电工证申请证明怎么弄?证书过期了不知道怎么复审延期

低压电工证申请证明怎么弄?证书过期了不知道怎么复审延期 证书过期了不知道怎么复审延期,很多人在遇到这个问题的时候才意识到低压电工证申请证明的重要性。这张证书不仅是从事低压电气作业的“通行证”,更是体现你专业技能和行业 含金量… · 2026/11/17 3:40:10

荣成电工证考试时间值不值得考?急需特种作业证才能上岗找工作
荣成电工证考试时间值不值得考?急需特种作业证才能上岗找工作

荣成电工证考试时间值不值得考?急需特种作业证才能上岗找工作 你现在正在找工作,但手里没有电工证,面试卡在第一关?特种作业证不光是入职门槛,更是你职业发展的“通行证”。尤其是像荣成这样的地区,电工证考试时间一过,就意味着你可能错过今年的机会,… · 2026/11/17 3:40:10

新会电工证培训多少钱 外省证书能转吗别再踩坑了
新会电工证培训多少钱 外省证书能转吗别再踩坑了

新会电工证培训多少钱 外省证书能转吗别再踩坑了 之前考的证在外省能不能转过来?这是很多电工朋友最关心的问题。现在市面上“新会电工证培训多少钱”的问题铺天盖地,但真正靠谱的信息少之又少。尤其是在外省考的电工证,到了新会地区是否能直接使用?这不… · 2026/11/17 3:40:10

遵义湄潭电工证怎么报名才不踩坑
遵义湄潭电工证怎么报名才不踩坑

遵义湄潭电工证怎么报名才不踩坑 你有没有遇到过这种情况?明明手里有电工证,可单位还是不认可?或者是报名时花了钱,结果证书不合规?现在找工作, 急需特种作业证才能上岗找工作 ,电工证几乎是电气相关岗位的“入场券”,可你 怎么报名… · 2026/11/17 3:39:09

长春初级电工证怎么考?通过率揭秘全在这里
长春初级电工证怎么考?通过率揭秘全在这里

长春初级电工证怎么考?通过率揭秘全在这里 之前考的证在外省能不能转过来?这几乎是每个想从事电工工作的人都会问的问题。特别是那些在外地打拼多年、手里握着一张“外地电工证”的人,到了长春想继续干这一行,第一反应就是“我的证能用吗?”。今天我们就… · 2026/11/16 3:21:55

国内电工证报考条件与考试时间
国内电工证报考条件与考试时间

低压电工证怎么考?学历不高也能报名,官方报名入口全在这 你是不是经常听说“电工证是入行门槛”,但又担心自己学历不够、经验不足,根本报不了名?别急,今天就带你从零了解【国内电工证】的报考流程、考试内容,还有怎么在 官方报名入口… · 2026/11/16 3:01:18

电工作业时如何断电?电子证书到底能不能全国通用?
电工作业时如何断电?电子证书到底能不能全国通用?

电工作业时如何断电?电子证书到底能不能全国通用? 实操考试心里没底怕挂科,特别是电工作业时如何断电这一操作,不仅关系到你能不能拿到证书,更关系到以后能不能顺利上岗。很多人觉得这不过就是“断个电”,但其实这里面的门道可不少,稍有不慎就可能出错… · 2026/11/16 8:30:17

安徽特种工考证学校千万别踩坑,学历不高也能考证上岗
安徽特种工考证学校千万别踩坑,学历不高也能考证上岗

安徽特种工考证学校千万别踩坑,学历不高也能考证上岗 你是不是总觉得学历不高就考不了证,连报名资格都够不上?其实,很多人和你一样,学历不占优势,但想通过考证转行或提升自己的职业竞争力。安徽特种工考证学校虽然门槛不高,但千万别踩坑,稍有不慎就会… · 2026/11/17 0:00:20

你没学历也能考福田特种作业操作证?真实经历告诉你怎么干
你没学历也能考福田特种作业操作证?真实经历告诉你怎么干

你没学历也能考福田特种作业操作证?真实经历告诉你怎么干 你是不是觉得学历不高就考不上福田特种作业操作证?其实不然,我有个老乡,初中毕业,现在在安阳干焊工,每月拿8000多,还评上了高级技师。他的经历我今天就给你说说,看看你能不能照着走。… · 2026/11/17 0:00:20

低压电工证哪里盖章怎么报名 过期了别慌教你一步步复审
低压电工证哪里盖章怎么报名 过期了别慌教你一步步复审

低压电工证哪里盖章怎么报名 过期了别慌教你一步步复审 证书过期了不知道怎么复审延期?低压电工证是很多电工从业者必须持有的证件,一旦到期未及时办理复审,不仅影响工作,还可能面临被单位辞退甚至罚款。今天我就从南阳地区培训机构学员的角度,详细告诉… · 2026/11/17 0:00:20

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/16 16:48:43

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/16 16:48:57

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/16 16:48:48

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码