首页/新闻资讯/正文详情

DEIM 改进系列(八):频域处理改进——给特征“换个坐标系看问题“

发布时间:2026/9/24 17:28:54 来源:云帆数科 栏目:资讯中心
DEIM 改进系列(八):频域处理改进——给特征“换个坐标系看问题“
DEIM 从主干到 neck 的所有算子都在空域干活——卷积在空域滑窗、注意力在空域加权但很多结构信息纹理、边缘、周期性在频域里表达得更清晰。针对全程空域视角这个盲区我们做了一批频域处理替换变体双落点backbone 走HG_Stage_X、neck 走lateral_convs_X全部保持原落点参数格式不变、一行切换。1. 现有的空域算子有什么问题不是空域算子错了而是只有空域视角这个事实本身有盲区问题机制原因可观测后果局部 vs 全局割裂卷积感受野是局部的全局信息要叠很多层周期性/长程结构建模慢高频信息被稀释下采样/池化把高频边缘、纹理细节逐步抹掉小目标与纹理细节在深层消失【细分场景】分辨率敏感空域卷积对尺度变化不鲁棒同一目标不同尺度特征差异大信息冗余空域表示里相邻像素高度相关参数量与计算量浪费在冗余上一句话总结空域视角下高频细节是藏在大量冗余像素里的——频域把高频信息单独拎出来让网络可以直接处理细节本身。2. 可以往哪些方向改进把特征切到频域看有四个方向也是我们最终落地的四个分组方向思路代表变体优点代价小波分解小波变换拆多尺度频率子带WTConv、Down_wt、MWPT、PWD多尺度高频显式可逆无损实现复杂傅里叶/FFT频谱调制后反变换FFCM、Fre_MLP、Fourier_Modulation_Attention、FSAS、FSDA、KSFA、PFAE、msfn全局视野天然复数运算频域卷积在频域做卷积/调制FEB、FDConv、CEB融合空域频域优势与 BN 兼容需处理频带学习学习频带重要性/分解Down_wt、CEB、PWD轻量、可解释提升幅度看场景四路共同点backbone 落点保持 HG_Stage 外壳不变neck 落点保持 c→c 同维不变。变体全做让实验挑最优。3. HG 的卷积注意力是如何改进的双落点装配HG_Stage_X/lateral_convs_X均由 train_deim_yaml.py 通用分支自动导入3.1 小波分解组——多尺度频率子带变体核心机制WTConv小波卷积db1 小波分解为 LL/LH/HL/HH 子带LL 递归分解后各尺度卷积再重建详见第 4 节Down_wt小波下采样用小波分解替代大步长下采样保留高频MWPT多级小波包变换更细的频率划分PWD金字塔小波分解3.2 傅里叶/FFT 组——频谱调制变体核心机制FFCM傅里叶频域通道调制Fre_MLP频域 MLP频谱上做逐点/逐通道变换Fourier_Modulation_Attention傅里叶调制注意力FSAS / FSDA频域空间注意力 / 频域尺度解耦注意力KSFA核化频谱特征注意力PFAE金字塔频率注意力增强msfn多尺度频域网络3.3 频域卷积组——频域里做卷积变体核心机制FEB频域增强块FDConv频域解耦卷积CEB通道频带均衡设计逻辑四个分组对应频域的四个本质问题——小波回答如何无损地把频率拆开傅里叶回答如何直接在全频谱上调制频域卷积回答如何让卷积本身具备频域视野频带学习回答哪些频率成分值得单独处理。变体不是堆数量而是把换坐标系看特征这个动作的每个可设计维度都覆盖了一遍WTConv 则是其中机制最完整、最可解释的一个。4.代码和视频讲解视频讲解DEIM超越 YOLO快准双绝DEIM让 DETR 告别慢收敛开启实时检测新纪元_哔哩哔哩_bilibiliDEIM超越 YOLO快准双绝一个视频告诉你DEIM如何搭建backbone_哔哩哔哩_bilibili代码获取YOLOv8_improve/DEIM.md at master · tgf123/YOLOv8_improve · GitHub5.以WTConv小波卷积为例第一: 将下面的核心代码复制到DEIMv2-main\DEIM_YOLO\change_mode_频域处理路径下如下图所示。第二自适应导包与模型搭建第三将模型配置文件复制到DEIM.YAMY文件中第四yaml改进配置文件backbone: - [-1, 1, HGStem, [3, 16, 16]] # 0 stem - [-1, 1, HG_Stage_WTConv, [16, 16, 64, 1, False, False, 3, 3]] # 1 stage1 - [-1, 1, HG_Stage_WTConv, [64, 32, 256, 1, True, False, 3, 3]] # 2 stage2 - [-1, 1, HG_Stage_WTConv, [256, 64, 512, 2, True, True, 5, 3]] # 3 stage3 - [-1, 1, HG_Stage_WTConv, [512, 128, 1024, 1, True, True, 5, 3]] # 4 stage4 head: - [-1, 1, input_proj, [128]] # 5 P5: layer4(1024) - 128 - [3, 1, input_proj, [128]] # 6 P4: layer3( 512) - 128 - [5, 1, TransformerEncoder, [128, 8, 512, 1]] # 7 P5 - [-1, 1, lateral_convs, [128]] # 8 Y5 - [-1, 1, upsample_feat, [2, nearest]] # 9 up2 - [[-1, 6], 1, concat, [1]] # 10 FPN 融合 - 256ch - [-1, 1, fpn_blocks, [256, 128, 256, 21, 2]] # 11 F4 - [-1, 1, downsample_feat, [128, 128, 3, 2]] # 12 downF4 - [[-1, 8], 1, concat, [1]] # 13 PAN 融合 - 256ch - [-1, 1, pan_blocks, [256, 128, 256, 21, 2]] # 14 F5 - [[11, -1], 1, DEIMDecoder, [nc, 128, 3, 300, 32, 4, [6, 6]]] # 15 Detect(F4, F5)backbone: - [-1, 1, HGStem, [3, 16, 16]] # 0 stem - [-1, 1, HG_Stage, [16, 16, 64, 1, False, False, 3, 3]] # 1 stage1 - [-1, 1, HG_Stage, [64, 32, 256, 1, True, False, 3, 3]] # 2 stage2 - [-1, 1, HG_Stage, [256, 64, 512, 2, True, True, 5, 3]] # 3 stage3 - [-1, 1, HG_Stage, [512, 128, 1024, 1, True, True, 5, 3]] # 4 stage4 head: - [-1, 1, input_proj, [128]] # 5 P5 - [3, 1, input_proj, [128]] # 6 P4 - [5, 1, TransformerEncoder, [128, 8, 512, 1]] # 7 P5 - [-1, 1, lateral_convs_WTConv, [128]] # 8 Y5 (频域调制c-c 同维) - [-1, 1, upsample_feat, [2, nearest]] # 9 up2 - [[-1, 6], 1, concat, [1]] # 10 FPN 融合 - 256ch - [-1, 1, fpn_blocks, [256, 128, 256, 21, 2]] # 11 F4 - [-1, 1, downsample_feat, [128, 128, 3, 2]] # 12 downF4 - [[-1, 8], 1, concat, [1]] # 13 PAN 融合 - 256ch - [-1, 1, pan_blocks, [256, 128, 256, 21, 2]] # 14 F5 - [[11, -1], 1, DEIMDecoder, [nc, 128, 3, 300, 32, 4, [6, 6]]] # 15 Detect(F4, F5)​​第五模型跑出的结果

相关推荐

新型智慧城市建设项目初步设计与投资概算
新型智慧城市建设项目初步设计与投资概算

本份文档为地市级别智慧城市完整初设概算实战范本,适配智慧城市项目投标、可研‑初设编制、政务数字化咨询方案撰写。文档遵循国家及地方数字政府政策标准,采用 “1234” 总体架构,覆盖基础设施、八大基础支撑平台、多类主题智慧应用&#xf… · 2026/9/24 17:28:54

【Agent】【tools】3.Cassandra数据库工具
【Agent】【tools】3.Cassandra数据库工具

1. 案例目标本案例展示了如何使用LlamaIndex的Cassandra数据库工具,使AI代理能够高效地与Cassandra数据库交互。Apache Cassandra是一个广泛用于存储事务性应用程序数据的数据库。大型语言模型中函数和工具的引入为现有数据在生成式AI应用中的使用开辟了一些令人兴奋… · 2026/9/24 17:28:54

按键控制LED
按键控制LED

GPIO_ Read_ input_ Data_ bit 就是读取这里输入数据寄存器的某一位。 GPIO_ Read_ input_ Data 就是读取这整个输入数据寄存器。 GPIO_ Read_ output_ Data_ bit 就是读取这里输出数据寄存器的某一位。 GPIO_ Read_ output_ Data 就是读取这整个输出数据寄存器。 按键控制LED … · 2026/9/24 17:28:48

Kubernetes Handbook 实战指南:Secret 配置与敏感信息管理
Kubernetes Handbook 实战指南:Secret 配置与敏感信息管理

教程云原生容器编排 【免费下载链接】kubernetes-handbook Kubernetes 架构与生态:从云原生到 AI 原生基础设施的构建指南 项目地址: https://gitcode.com/gh_mirrors/ku/kubernetes-handbook 点击查看 免费下载 本篇技术指南以 Kubernetes Handbook 中… · 2026/9/24 18:01:36

aigc率高怎么办?2026年9款降AIGC软件实测测评,一轮下来AI率就进安全区!
aigc率高怎么办?2026年9款降AIGC软件实测测评,一轮下来AI率就进安全区!

aigc率高怎么办?2026年9款降AIGC软件实测测评,一轮下来AI率就进安全区! aigc率高怎么办,这是 2026 年这一届毕业生绕不过去的一道题。一个公共事业管理专业的学妹,毕业论文 9600 字,学校用维普&#xff0c… · 2026/9/24 18:01:36

超好用的批量命名工具
超好用的批量命名工具

面对堆积如山、命名混乱的文件,聪明人绝不会死磕键盘上的 F2,而是会请出“批量重命名”工具。 不过,Windows 生态里的重命名软件五花八门,到底该怎么选?如果你正在寻找一款趁手的兵器,不妨看看下面这几款在… · 2026/9/24 18:01:29

还在担心AI检测率一直高?降aigc率软件实测来了:2026年10款降AI率软件实测,先用免费额度试再决定花不花钱!
还在担心AI检测率一直高?降aigc率软件实测来了:2026年10款降AI率软件实测,先用免费额度试再决定花不花钱!

还在担心AI检测率一直高?降aigc率软件实测来了:2026年10款降AI率软件实测,先用免费额度试再决定花不花钱! 降aigc率软件到底哪一款是真能降的,这是我这个月被问得最多的问题。学妹学的是网络与新媒体,本科… · 2026/9/24 18:01:29

UE5 GC 完全工程化:Incremental GC、Cluster 回收与 Reachability Analysis 调优实战
UE5 GC 完全工程化:Incremental GC、Cluster 回收与 Reachability Analysis 调优实战

UE5 GC 完全工程化:Incremental GC、Cluster 回收与 Reachability Analysis 调优实战 UE5 对引擎级 GC 做了显著改动——新增 Incremental GC(增量 GC)、Reachability Analysis(可达性分析)、Cluster(集群)回收机制。本文从「为什么 UE GC 必须改进」出发,系统拆解 UE… · 2026/9/24 18:01:29

第 3 章 工程结构:构建系统如何“知道“要编译什么
第 3 章 工程结构:构建系统如何“知道“要编译什么

本章从底层讲清三件事: ①CMake/Ninja 是怎么协作完成构建的?②#include、REQUIRES、链接分别是 什么机制?③sdkconfig 和分区表在系统里扮演什么角色? 读完你就能看懂任何一个 ESP-IDF 工程,而不是只会照抄。读法说明… · 2026/9/24 18:01:29

基于YOLOv8的渔船作业监控系统:从环境搭建到边缘部署全流程
基于YOLOv8的渔船作业监控系统:从环境搭建到边缘部署全流程

简介:这是一套面向计算机、人工智能、自动化等专业学生与教师的毕业设计级项目资源,围绕YOLOv8实现渔船作业监控系统,可用于毕设、课程设计、大作业或项目立项演示。压缩包共97个文件,约24.21MB,以70个Python源码文件为… · 2026/9/24 0:00:13

1D-CNN时间序列建模实战:从Conv1d原理到工业落地
1D-CNN时间序列建模实战:从Conv1d原理到工业落地

简介:面向时间序列数据建模的一维卷积神经网络完整实现,适合深度学习入门者及需要快速验证时序模型的研究者,能够从音频、文本、传感器或股价等序列中挖掘局部特征与时间依赖。压缩包体积很小,只有3KB,内含3个Python脚… · 2026/9/24 0:00:26

柔软的L:汉语语流中被忽视的舌肌张力控制
柔软的L:汉语语流中被忽视的舌肌张力控制

1. 这个“L”不是字母表里的L,而是舌尖上的L最近在几个方言群和语音教学社群里,反复看到有人发一句:“也说字母L:柔软的长舌”。初看以为是英语发音课笔记,点开才发现全是方言爱好者、播音系学生、语言康复师甚至戏曲演… · 2026/9/24 0:00:44

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码