首页/新闻资讯/正文详情

11.时间序列预测入门到实战:时序专用 Transformer:Informer / Autoformer

发布时间:2026/11/19 22:51:44 来源:云帆数科 栏目:资讯中心
11.时间序列预测入门到实战:时序专用 Transformer:Informer / Autoformer
时间序列预测入门到实战十一· 时序专用 TransformerInformer / Autoformer本文是「码海寻道」《时间序列预测入门到实战》系列的第 11 篇。上一篇留下一个硬伤原版 Transformer 的注意力是O(L²)吃不下长序列。这一篇看学术界怎么驯服它——Informer把注意力变稀疏Autoformer把序列分解嵌进网络。它们一度是长序列预测的 SOTA。但文末我会给你埋一个即将在下一篇引爆的反转。一、先说清楚长序列预测LSTF难在哪LSTFLong Sequence Time-series Forecasting指的是要预测很长的未来——96、336 甚至 720 步。原版 Transformer 在这里三个问题集中爆发注意力矩阵O(L²)序列一长显存和算力平方级爆炸解码器逐步生成预测 720 步就要串行 720 次慢长序列堆叠多层内存吃不消。Informer 和 Autoformer就是奔着这三个问题来的。二、Informer注意力其实很稀疏InformerAAAI 2021 最佳论文的关键观察是注意力权重的分布极不均匀——少数几个 Query 贡献了绝大部分注意力大部分 Query 其实没在认真看。既然如此何必把每个 Query 都算一遍三招组合拳ProbSparse 注意力只挑出最重要的少数 Query来算注意力复杂度从 O(L²) 降到O(L·log L)自注意力蒸馏逐层把序列缩短越往上越精炼省内存生成式解码一次性吐出整个预测序列不再逐步串行长预测也快。怎么判断哪个 Query “重要”Informer 的判据很直白一个 Query 如果对所有位置的注意力平摊得差不多接近均匀分布说明它没主见、可有可无反之如果它的注意力明显偏向某几个位置分布尖锐才是真在认真看。于是它用这个 Query 的注意力分布离均匀分布有多远来打分只保留得分高的少数 Query 精算其余的用平均值糊弄过去。省掉的正是那些本就没在贡献信息的计算——近似而不太掉精度这是 ProbSparse 的底气。这三招让 Transformer 第一次能舒服地吃下长序列。三、Autoformer把分解焊进网络AutoformerNeurIPS 2021换了个思路它把第 2 篇的时序分解直接做成了网络的内置组件深度分解架构在网络的每一层都做一次趋势 季节分解让模型边预测边把趋势和季节理清楚自相关机制(Auto-Correlation)不再算逐点注意力而是基于周期去发现长得像的子序列把它们对齐聚合——复杂度同样是O(L·log L)而且天生契合有周期的数据。比起 Informer 的让注意力变稀疏Autoformer 更像是用周期性重新定义了注意力。对季节性强的序列它往往更稳。自相关到底在干嘛逐点注意力问的是哪个时刻和我像自相关问的是隔多久会重复。它先算序列和自己平移若干步后的版本有多吻合这就是第 2 篇的自相关可用 FFT 快速一次算完吻合度高的那几个平移量就是数据的主周期——比如 24、168。然后它把相隔一个周期的那些片段对齐、加权求和既然每 24 小时重演一次那预测下一段就多参考历史上每个’昨天此刻’开始的片段。所以它不是在孤立的点之间连线而是在以周期为单位的片段之间做聚合天然踩在时序的节拍上。顺带一提FEDformer它更进一步把注意力搬到傅里叶频域里做用少数低频分量就能表示序列又快又稳。四、怎么用别手写用库这些模型结构复杂实务中不建议自己手写直接用成熟库如neuralforecast、Time-Series-Library# pip install neuralforecastfromneuralforecastimportNeuralForecastfromneuralforecast.modelsimportAutoformer,Informer nfNeuralForecast(models[Autoformer(h96,input_size336,max_steps300)],freqh)nf.fit(df_long)# df: 列为 unique_id / ds / yprednf.predict()五、埋个反转重点参考结论Informer、Autoformer、FEDformer 在长序列 benchmark含 ETT上曾一个接一个刷新 SOTA风头无两。但是——2022 年一篇标题极具挑衅的论文出现了《Are Transformers Effective for Time Series Forecasting?》。作者用一个简单到只有一层线性的模型 DLinear在这些长序列 benchmark 上把上面这一众复杂 Transformer打得很难看。这记重拳让整个领域停下来反思我们是不是把问题复杂化了这个反转就是下一篇的主题。小结LSTF长序列预测三大痛点O(L²) 注意力、逐步解码慢、内存爆InformerProbSparse 稀疏注意力 蒸馏 生成式解码把复杂度降到 O(L·log L)Autoformer深度分解 自相关机制用周期性重构注意力契合季节数据它们曾是 SOTA但一个简单线性模型即将掀翻这一切——下一篇见分晓。思考题Informer 假设注意力是稀疏的、少数 Query 占主导。什么样的时序数据会违反这个假设让 ProbSparse 的近似失效高效注意力这条路走到这里。关注公众号「码海寻道」下一篇是全系列最有争议的一篇——简单线性模型如何吊打复杂 Transformer。

相关推荐

基于C++的医疗影像协同平台:DICOM处理与实时同步技术实践
基于C++的医疗影像协同平台:DICOM处理与实时同步技术实践

1. 项目概述与核心价值最近几年,医疗信息化领域一个非常热门且实际需求强烈的方向,就是跨机构的医疗影像协同。想象一下,一个县城的医院接诊了一位病情复杂的患者,本地医生在阅片时遇到了疑难,如果能立刻邀请省城三甲医… · 2026/11/19 22:51:44

从策略输入到盘后日志:量化软件对比应核对哪些输出文件
从策略输入到盘后日志:量化软件对比应核对哪些输出文件

量化软件能否长期使用,往往取决于它能留下什么,而不是界面上有多少功能。牛股王股票这类低门槛股票量化工具适合普通投资者保留策略条件、最长5年回测、盯盘与调仓提醒线索;聚宽适合保存Python代码、参数和回测明细;QMT进入券商侧… · 2026/10/2 7:58:50

C/C++性能优化:从内存对齐到缓存友好的高级技巧
C/C++性能优化:从内存对齐到缓存友好的高级技巧

1. 项目概述:为什么C/C性能优化绕不开内存与缓存?如果你写过几年C/C,尤其是在处理过大量数据或者对实时性要求极高的系统后,大概率会碰到一个瓶颈:代码逻辑清晰,算法也够优,但性能就是上不去。这… · 2026/10/2 9:36:54

丹凤县物业电工证考不过白交培训费?上岗必备的避坑指南来了
丹凤县物业电工证考不过白交培训费?上岗必备的避坑指南来了

丹凤县物业电工证考不过白交培训费?上岗必备的避坑指南来了 怕考不过白交培训费?你不是一个人。丹凤县物业电工证作为物业岗位的上岗必备,不仅关系到能否顺利入职,更影响未来的职业发展。很多学员在报名前不了解考试难度、培训内容、通过率,结果花了钱却… · 2026/11/19 22:50:45

房山高低压电工证多久拿证?实操考试心里没底怕挂科怎么破
房山高低压电工证多久拿证?实操考试心里没底怕挂科怎么破

房山高低压电工证多久拿证?实操考试心里没底怕挂科怎么破 实操考试心里没底怕挂科,你不是一个人。很多准备考房山高低压电工证的朋友,一想到要动手操作、现场演示,就紧张得睡不着觉。特别是第一次接触电工证考试,对流程、内容、考试方式都不熟悉,难免心… · 2026/11/19 22:50:45

低压电工证考试全题库怎么考?官方报名入口全解析
低压电工证考试全题库怎么考?官方报名入口全解析

低压电工证考试全题库怎么考?官方报名入口全解析 证书过期了不知道怎么复审延期?低压电工证作为特种作业操作证的重要组成部分,是从事低压电气设备安装、运行、维护等工作的必备资质。不少施工企业负责人因不了解流程,导致证件过期后无法顺利开展业务,甚… · 2026/11/19 22:50:45

房山高低压电工证千万别踩坑,怕考不过白交培训费?这3点教你稳过
房山高低压电工证千万别踩坑,怕考不过白交培训费?这3点教你稳过

房山高低压电工证千万别踩坑,怕考不过白交培训费?这3点教你稳过 怕考不过白交培训费?房山高低压电工证考试不是你想象中的那么难,但也不是谁都能一帆风顺。我认识一位洛阳涧西区的应届工程类毕业生,花了几千块报了培训,结果考试时慌了神,最后只考了6… · 2026/11/19 22:50:45

看电工证视频的软件值不值得考
看电工证视频的软件值不值得考

电工证视频软件值不值得考?工地太忙根本没时间复习考试 工地太忙根本没时间复习考试,你是不是也这样?每天十几个小时泡在工地上,连吃饭都得抢时间,更别说抽空复习电工证考试内容了。很多工友都跟你说, 全国通用… · 2026/11/19 22:50:45

电工证复审没有去?内部消息透露:别以为学历不高就报不上名!
电工证复审没有去?内部消息透露:别以为学历不高就报不上名!

电工证复审没有去?内部消息透露:别以为学历不高就报不上名! 你是不是也这样, 学历不高怕报不上名 ,想着电工证复审没去,结果发现证已经过期,工作都保不住了?别慌,这不是你一个人的困境,很多人其实都踩过这个坑。今天咱们就聊聊电工证复审没去的后… · 2026/11/19 22:49:44

长春初级电工证怎么考?通过率揭秘全在这里
长春初级电工证怎么考?通过率揭秘全在这里

长春初级电工证怎么考?通过率揭秘全在这里 之前考的证在外省能不能转过来?这几乎是每个想从事电工工作的人都会问的问题。特别是那些在外地打拼多年、手里握着一张“外地电工证”的人,到了长春想继续干这一行,第一反应就是“我的证能用吗?”。今天我们就… · 2026/11/19 16:06:02

国内电工证报考条件与考试时间
国内电工证报考条件与考试时间

低压电工证怎么考?学历不高也能报名,官方报名入口全在这 你是不是经常听说“电工证是入行门槛”,但又担心自己学历不够、经验不足,根本报不了名?别急,今天就带你从零了解【国内电工证】的报考流程、考试内容,还有怎么在 官方报名入口… · 2026/11/19 17:40:37

电工作业时如何断电?电子证书到底能不能全国通用?
电工作业时如何断电?电子证书到底能不能全国通用?

电工作业时如何断电?电子证书到底能不能全国通用? 实操考试心里没底怕挂科,特别是电工作业时如何断电这一操作,不仅关系到你能不能拿到证书,更关系到以后能不能顺利上岗。很多人觉得这不过就是“断个电”,但其实这里面的门道可不少,稍有不慎就可能出错… · 2026/11/19 17:50:07

姑苏区哪里考电工证好考前押题怎么找
姑苏区哪里考电工证好考前押题怎么找

姑苏区哪里考电工证好考前押题怎么找 工地太忙根本没时间复习考试,电工证考前还总找不到靠谱的 考前押题 资源,真让人头疼。如果你也是在苏州姑苏区从事建筑或电力行业的,那这些建议你一定要看完。 为什么姑苏区考电工证的人这么多?… · 2026/11/19 0:00:12

罗定能考电工证吗?外省证转过来流程全解析+郑州报考避坑指南
罗定能考电工证吗?外省证转过来流程全解析+郑州报考避坑指南

罗定能考电工证吗?外省证转过来流程全解析+郑州报考避坑指南 之前考的证在外省能不能转过来?这几乎是每个特种作业证书持有者都会遇到的问题,特别是像你这样已经在外地工作多年,想回老家罗定发展或者重新规划职业路径的人。别急,今天就给你一条清晰的路… · 2026/11/19 0:00:12

罗定能考电工证吗 电工证含金量到底有多少?
罗定能考电工证吗 电工证含金量到底有多少?

罗定能考电工证吗 电工证含金量到底有多少? 之前考的证在外省能不能转过来,这几乎是每个准备考电工证的朋友最先想到的问题。特别是在罗定这样的地方,很多人的电工证都是在外地考的,现在想在当地继续使用,但不知道怎么办。实际上,电工证的 含金量… · 2026/11/19 0:00:12

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/19 6:33:25

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/19 6:33:32

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/19 0:22:38

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码