首页/新闻资讯/正文详情

AI顶会+1!沐曦股份联合港科大推出SpecBlock模型推理加速创新方案入选NeurIPS 2026,性能达业界领先

发布时间:2026/11/17 13:05:53 来源:云帆数科 栏目:资讯中心
AI顶会+1!沐曦股份联合港科大推出SpecBlock模型推理加速创新方案入选NeurIPS 2026,性能达业界领先
近日全球人工智能顶级学术会议NeurIPS 2026正式公布录用结果沐曦股份AI技术团队联合香港科技大学提出的大模型推理加速方案 SpecBlock成功入选主会Poster论文。同时该方法的全部实验流程均已在沐曦 GPU 平台同步复现。NeurIPS神经信息处理系统大会是人工智能与机器学习领域最具影响力的学术会议之一与 ICML、ICLR 并称“三大顶会”每年汇聚全球顶尖高校与科技巨头的前沿成果是学界与产业界衡量算法原创性与学术价值的重要标尺。SpecBlock入选该顶会意味着该方案的创新性已获得国际同行的严格评审认可对沐曦股份而言标志着公司在“芯片算法”协同创新上迈出了实质性一步。该方法的全部实验流程在沐曦GPU平台同步复现也为国产算力生态从硬件替代走向软硬协同创新提供了有力注脚。大模型竞争进入推理效率时代过去几年人工智能技术的快速发展主要由模型规模扩张、训练数据增长和算力投入驱动。随着大模型加速向智能Agent、企业智能服务、实时交互等实际应用场景渗透AI产业的竞争焦点正从模型能力的持续突破进一步延伸至推理效率、运行成本与规模化服务能力的综合竞争。然而传统大模型普遍采用逐Token自回归生成方式每生成一个Token都需要执行一次模型前向计算。在生成阶段Decode这一过程往往受到显存带宽限制频繁的模型权重访问难以充分发挥GPU的并行计算能力。随着模型规模扩大、推理请求量持续增长推理延迟、服务吞吐与算力成本正成为制约大模型规模化落地的关键瓶颈。面对这一挑战如何在保障模型能力与生成质量的前提下以更低的计算成本实现更高的Token生成效率已经成为大模型技术演进的重要方向。未来的大模型竞争不仅是模型能力的竞争更是推理效率与算力利用效率的竞争。谁能以更低成本、更高吞吐、更优时延释放大模型能力谁就更有机会在AI规模化应用中占据优势。推测解码成为大模型推理加速的关键技术随着大模型推理需求持续增长如何突破传统逐Token生成的效率瓶颈充分释放GPU计算能力已成为大模型推理优化的核心方向。以DeepSeek系列模型为代表的新一代大模型已经引入Multi-Token PredictionMTP多Token预测机制为推测解码提供高效的候选Token生成能力DSpark等前沿技术则进一步探索高效草稿生成与推理加速的实现路径。这些技术的发展共同印证了一个重要趋势大模型推理性能的突破不仅依赖算力规模的提升更依赖计算效率的优化让每一次模型计算产生更多有效Token。推测解码Speculative Decoding正是实现这一目标的关键技术之一。其核心思想是通过轻量级Draft模型提前生成多个候选Token再由Target模型在一次前向计算中并行验证从而将传统的逐Token生成转变为一次计算接受多个Token有效减少大模型串行调用次数提高GPU计算资源利用率实现推理吞吐与生成效率的显著提升。然而现有推测解码方法仍面临预测质量与计算成本难以兼顾的核心挑战自回归Draft方法 能够充分建模Token之间的依赖关系预测质量较高但依赖多轮串行计算Draft开销较大。并行Draft方法 通过一次前向计算预测多个Token显著降低Draft成本但由于缺乏充分的Token依赖建模容易导致预测质量和验证接受率下降。固定候选树策略 难以根据不同Token位置的预测难度动态分配验证预算限制了计算资源利用效率与整体加速收益。如何突破“高预测质量依赖高计算成本、低计算成本牺牲预测质量”的技术困境成为进一步提升推测解码性能的关键。SpecBlock 的切入点正是把这道“准确率与成本二选一”的难题改写成通过块级迭代生成与动态树搜索的协同设计寻求预测质量与计算成本之间的更优平衡。突破性能瓶颈实现业界领先的推理加速性能针对现有推测解码技术在预测质量、Draft计算成本与端到端推理吞吐之间难以兼顾的核心挑战沐曦股份AI技术团队联合香港科技大学提出新型推测解码方法SpecBlockBlock-Iterative Speculative Decoding with Dynamic Tree Drafting在高效草稿生成、动态搜索策略及在线自适应优化等方面取得创新突破。不同于传统自回归Draft方法依赖多轮串行计算也不同于完全并行Draft方法因缺Token依赖而牺牲预测质量SpecBlock创新性地提出块级迭代生成与动态树搜索相结合的技术路线兼顾草稿生成效率与预测准确性突破现有方法的性能瓶颈。SpecBlock主要通过四项关键技术实现协同优化Block-Iterative Drafting块级迭代生成从逐Token串行预测升级为块级生成一次Forward预测多个具有依赖关系的Token位置显著降低Draft调用开销。Layer-wise Shift Prefix Broadcast依赖增强机制强化Token之间的上下文信息传递在提高并行生成效率的同时保持较高预测质量。Rank-Guided Dynamic Tree动态候选树根据预测置信度自适应分配搜索分支将有限的验证预算投入更有价值的候选路径提高计算资源利用效率。Cost-Aware Online Adaptation成本感知在线优化根据模型验证反馈与实际吞吐收益动态选择模型更新策略进一步提升复杂场景下的持续推理效率。多模型、多任务实验结果表明SpecBlock展现出领先的推理性能。在沐曦C500通用GPU上的实测结果相较于EAGLE-3SpecBlock在Llama-3.1-8B和Qwen3-8B模型上的平均推理吞吐分别提升16.4%和14.4%Draft阶段耗时分别降低50.9%和38.4%。上述结果证明该方法不仅具备学术创新价值也具备明确的工程落地价值。基于沐曦通用GPU跑通全流程复现前沿AI技术的突破不仅在于算法创新更在于支撑创新成果从研究走向实践的完整算力与软件生态。此次SpecBlock研究不仅实现了推测解码算法层面的创新突破更依托沐曦通用GPU硬件平台与MACA软件生态打通了从算法设计、模型训练到推理部署、性能验证的完整技术链路形成覆盖“算法研发 → 模型训练 → 系统优化 → 推理部署 → 性能评测”的端到端研发与验证能力。在沐曦C500通用GPU平台的实测中SpecBlock展现出领先的推理加速性能相比EAGLE-3在Llama-3.1-8B和Qwen3-8B模型上的平均推理吞吐分别提升16.4%和14.4%。这一结果不仅验证了SpecBlock算法的先进性也进一步体现了沐曦通用GPU与MACA软件生态对复杂模型架构、先进推理算法及系统级性能优化的支撑能力。这项工作不只是一次算法创新更是对国产GPU与软件生态能否承载前沿AI研究的一次完整验证。从前沿算法到开源生态夯实国产AI创新底座此次SpecBlock研究是沐曦股份AI技术团队与香港科技大学深化产学研协同创新的重要成果不仅在大模型推理加速领域取得了领先的技术突破也进一步验证了国产GPU与自主软件生态支撑前沿AI研究的综合能力。通过将前沿算法研究、沐曦通用GPU与MACA软件生态深度融合SpecBlock实现了从技术创新、模型训练到推理优化的协同发展并通过代码开源推动研究成果向全球开发者社区开放促进先进推理技术的持续演进与应用落地。真正具有竞争力的AI基础设施不仅要能够高效运行先进模型更要能够支撑前沿算法的自主创新与持续突破。未来沐曦将继续深化与高校及产业伙伴的协同合作推动算法创新、系统软件与国产算力的深度融合加速前沿AI技术从科研探索走向产业实践为构建开放、高效、自主的下一代AI基础设施提供坚实支撑。论文名称SpecBlock: Block-Iterative Speculative Decoding with Dynamic Tree Drafting论文地址https://arxiv.org/pdf/2605.07243GitHub开源地址https://github.com/shiweijiezero/SpecBlock

相关推荐

Windows电脑上,有没有能把微信消息和截图直接变成待办的工具?
Windows电脑上,有没有能把微信消息和截图直接变成待办的工具?

举一个很常见的上午。 九点多,客户在微信上发来一句「周四前把报价改一版发我」。十点,群里老板发了一张截图,上面圈了三处要改的地方。十一点开会,你又答应了同事一件事。 到下午,还能想起来的,大概只剩最… · 2026/11/17 13:05:53

本地语音工作台VoiceStudio:从部署到音色微调实战
本地语音工作台VoiceStudio:从部署到音色微调实战

1. 从零搭建一个本地语音工作台:VoiceStudio 到底在解决什么问题第一次看到 VoiceStudio 这个名字,我脑子里冒出来的第一个念头是:又是一个套壳的在线配音工具?毕竟这两年打着“AI 语音”旗号的产品太多了,打开网页、输… · 2026/11/17 13:05:52

AI治理的五个致命陷阱:从制度空转到供应链失明
AI治理的五个致命陷阱:从制度空转到供应链失明

1. AI治理的失败,往往从“看起来很努力”开始我在过去两年里接触过几十家正在上马AI项目的企业,从零售、金融到内容平台都有。一个很普遍的现象是:大家嘴上都在讲AI治理,朋友圈都在转发原则性宣言,组织架构里也挂了“A… · 2026/11/7 3:05:04

南宁市焊工电工证怎么转过来?2026河南最新政策怎么说
南宁市焊工电工证怎么转过来?2026河南最新政策怎么说

南宁市焊工电工证怎么转过来?2026河南最新政策怎么说 之前考的证在外省能不能转过来?这个问题,我见过太多人问,尤其是从河南、河北、山东过来的特种作业从业者。别急,先听我说完,2026年河南最新政策已经明确了外省证书的处理方式,咱们一块儿看… · 2026/11/17 13:04:54

湖南特种工证书有效期多久 考前押题能帮你省时省力
湖南特种工证书有效期多久 考前押题能帮你省时省力

湖南特种工证书有效期多久 考前押题能帮你省时省力 工地太忙根本没时间复习考试,你是不是也经常这样想?特种作业操作证是每个一线施工人员的“上岗通行证”,但证书有效期、复审流程、考试难点等信息,却往往成了大家避不开的“痛点”。特别是在湖南,特种… · 2026/11/17 13:04:54

电工证如何网上查到 你学历不高怕报不上名吗?看看多少钱就知道值不值
电工证如何网上查到 你学历不高怕报不上名吗?看看多少钱就知道值不值

电工证如何网上查到 你学历不高怕报不上名吗?看看多少钱就知道值不值 学历不高怕报不上名?其实你不是一个人,很多人都有这种顾虑。尤其是像我们济源的水利工程从业者,每天在一线干活,总觉得考证太麻烦、太贵,还怕报了名也考不过。但别急,今天我就给你… · 2026/11/17 13:04:54

辽宁电工证在哪里报名怎么考?考前押题帮你少走弯路
辽宁电工证在哪里报名怎么考?考前押题帮你少走弯路

辽宁电工证在哪里报名怎么考?考前押题帮你少走弯路 之前考的证在外省能不能转过来?这几乎是所有想在辽宁从事电工工作的朋友都会问的问题。别急,今天咱们就用一个真实案例讲明白【辽宁电工证在哪里报名】的全过程,顺便聊聊怎么用 考前押题… · 2026/11/17 13:04:54

学校电工作业的新闻有效期多久 通过率揭秘别再怕考不过白交钱
学校电工作业的新闻有效期多久 通过率揭秘别再怕考不过白交钱

学校电工作业的新闻有效期多久 通过率揭秘别再怕考不过白交钱 怕考不过白交培训费?学校电工作业的新闻有效期到底有多久?别慌,这篇文章帮你揭开【通过率揭秘】,教你如何高效备考、顺利拿到电工证。现在就带你从零开始了解电工作业考试的全部干货。… · 2026/11/17 13:04:54

_湖北低压电工证考试题库app复审延期怎么办理
_湖北低压电工证考试题库app复审延期怎么办理

湖北低压电工证考试题库app怎么用?含金量够高能帮你快速上岗 你现在缺一个能让你顺利上岗的证,但手里还没拿到【湖北低压电工证考试题库app】,对吧?别急,我跟你说,这证不仅 含金量… · 2026/11/17 13:03:53

长春初级电工证怎么考?通过率揭秘全在这里
长春初级电工证怎么考?通过率揭秘全在这里

长春初级电工证怎么考?通过率揭秘全在这里 之前考的证在外省能不能转过来?这几乎是每个想从事电工工作的人都会问的问题。特别是那些在外地打拼多年、手里握着一张“外地电工证”的人,到了长春想继续干这一行,第一反应就是“我的证能用吗?”。今天我们就… · 2026/11/17 5:38:05

国内电工证报考条件与考试时间
国内电工证报考条件与考试时间

低压电工证怎么考?学历不高也能报名,官方报名入口全在这 你是不是经常听说“电工证是入行门槛”,但又担心自己学历不够、经验不足,根本报不了名?别急,今天就带你从零了解【国内电工证】的报考流程、考试内容,还有怎么在 官方报名入口… · 2026/11/17 5:38:05

电工作业时如何断电?电子证书到底能不能全国通用?
电工作业时如何断电?电子证书到底能不能全国通用?

电工作业时如何断电?电子证书到底能不能全国通用? 实操考试心里没底怕挂科,特别是电工作业时如何断电这一操作,不仅关系到你能不能拿到证书,更关系到以后能不能顺利上岗。很多人觉得这不过就是“断个电”,但其实这里面的门道可不少,稍有不慎就可能出错… · 2026/11/17 9:06:35

安徽特种工考证学校千万别踩坑,学历不高也能考证上岗
安徽特种工考证学校千万别踩坑,学历不高也能考证上岗

安徽特种工考证学校千万别踩坑,学历不高也能考证上岗 你是不是总觉得学历不高就考不了证,连报名资格都够不上?其实,很多人和你一样,学历不占优势,但想通过考证转行或提升自己的职业竞争力。安徽特种工考证学校虽然门槛不高,但千万别踩坑,稍有不慎就会… · 2026/11/17 0:00:20

你没学历也能考福田特种作业操作证?真实经历告诉你怎么干
你没学历也能考福田特种作业操作证?真实经历告诉你怎么干

你没学历也能考福田特种作业操作证?真实经历告诉你怎么干 你是不是觉得学历不高就考不上福田特种作业操作证?其实不然,我有个老乡,初中毕业,现在在安阳干焊工,每月拿8000多,还评上了高级技师。他的经历我今天就给你说说,看看你能不能照着走。… · 2026/11/17 0:00:20

低压电工证哪里盖章怎么报名 过期了别慌教你一步步复审
低压电工证哪里盖章怎么报名 过期了别慌教你一步步复审

低压电工证哪里盖章怎么报名 过期了别慌教你一步步复审 证书过期了不知道怎么复审延期?低压电工证是很多电工从业者必须持有的证件,一旦到期未及时办理复审,不仅影响工作,还可能面临被单位辞退甚至罚款。今天我就从南阳地区培训机构学员的角度,详细告诉… · 2026/11/17 0:00:20

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/16 16:48:43

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/16 16:48:57

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/16 16:48:48

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码