首页/新闻资讯/正文详情

10Eros-Max架构解析:正交投影技术如何让多模型融合成为可能

发布时间:2026/11/3 1:45:17 来源:云帆数科 栏目:资讯中心
10Eros-Max架构解析:正交投影技术如何让多模型融合成为可能
10Eros-Max架构解析正交投影技术如何让多模型融合成为可能10Eros-Max是基于MiniMax H3基础模型开发的创新实验项目通过正交投影技术实现了多模型融合将LTX 2.3、Wan 2.2视频扩散模型和Krea 2图像扩散模型的学习模式整合到H3的 transformer架构中为视频生成领域带来了新的突破。多模型融合的核心架构设计 ✨10Eros-Max采用统一的transformer架构配备特定模态输入投影器video、audio、condition这些投影器将不同类型的数据输入到一个包含52个块的transformer堆栈中。这个堆栈由2个块的token_refiner用于文本条件处理和50个主块组成并配有特定模态的输出头。整个transformer堆栈采用相同的块架构这使得注意力和MLP层成为模型间特征迁移的理想目标而模态路由则位于管道边缘而非transformer内部。正交投影技术多模型融合的关键 10Eros-Max的修改采用了正交投影数学方法新的权重模式主要沿着基础模型未使用的方向添加到H3中。这种方式使迁移的特征能够补充H3而不是覆盖它。对于跨域的Krea模型融合这一点尤为重要Krea的模式和H3的模式在权重空间中几乎垂直这为正交投影提供了最大的发挥空间同时几乎完全保留了H3自身的方向。多模型融合的实现步骤 LTX 2.3与Wan 2.2视频模型融合LTX模型的融合首先应用于H3的前端块随后Wan模型的融合针对H3的中后端块。每个融合过程都直接修改了注意力权重第二次融合还在更广泛的块范围内修改了前馈层。这两个视频捐赠模型的融合过程表明完全不同的视频模型架构都可以为H3贡献各自独特的特征。Krea 2图像模型的跨域融合第三次融合引入了Krea 2——一个图像扩散模型而非视频模型。由于图像模型学习单帧内的空间关系而视频模型学习多帧间的时空关系这是一个更具探索性的方向。Krea的贡献被精确限定在其注意力结构中携带空间学习的部分查询投影编码要关注的视觉特征以及在少数位置的键和值投影对编码这些特征之间的关系。前馈层也进行了部分迁移但只采用了Krea门控MLP的输入侧跳过了输出投影因为Krea的组合逻辑是为图像模型的输出路径训练的与H3的视频处理不匹配。这种精确的范围控制使Krea能够贡献更精细的视觉特征和细节而不会破坏H3的时间连贯性。多模型融合的优势与保障 ️MiniMax的架构文档指出H3的注意力和前馈层不包含特定模态结构处理“这是音频、视频还是文本”的部分位于模型的其他位置。这意味着注意力和前馈权重是从其他训练模型迁移特征的架构适当位置而不会干扰H3处理每种模态的方式。这同样适合同域视频捐赠模型和跨域图像捐赠模型尽管跨域迁移需要更仔细的范围界定因为并非图像模型的所有学习模式在视频模型中都有连贯的对应部分。结合对受影响块的精确控制——特别是对于Krea精确控制哪些注意力头位置接受注入以避免干扰参与音频处理最多的头槽——这确保了H3在产生具有音频的连贯视频的核心能力的同时将其美学和运动特征向捐赠模型转移。模型的实际块权重、安全功能和防护措施在架构意义上保持未修改——每一次修改都是对现有权重的受控 additive 扰动而不是替换模型自身的结构。许可证信息 ℹ️10Eros-Max适用标准的H3社区许可证。由于此版本现在包含来自LTX 2.3、Wan 2.2和Krea 2的迁移特征这些源模型的社区许可证也适用于来自每个模型的特征部分。如需使用10Eros-Max项目可通过以下命令克隆仓库git clone https://gitcode.com/hf_mirrors/TenStrip/10Eros-Max创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

相关推荐

美团LongCat-Video视频生成模型重磅发布,开启世界模型探索新纪元
美团LongCat-Video视频生成模型重磅发布,开启世界模型探索新纪元

美团LongCat-Video视频生成模型重磅发布,开启世界模型探索新纪元 2025年10月27日,美团技术团队正式对外发布了自主研发的LongCat-Video视频生成模型。这款具备里程碑意义的AI模型不仅在文生视频、图生视频等基础任务上达到开源领域最先进水平&#xff0c… · 2026/11/3 1:45:17

arabic_PP-OCRv5_mobile_rec_onnx模型架构详解:从PP-OCRv5到ONNX转换全流程
arabic_PP-OCRv5_mobile_rec_onnx模型架构详解:从PP-OCRv5到ONNX转换全流程

arabic_PP-OCRv5_mobile_rec_onnx模型架构详解:从PP-OCRv5到ONNX转换全流程 arabic_PP-OCRv5_mobile_rec_onnx是一个专为阿拉伯文本识别优化的轻量级模型,基于飞桨PaddlePaddle的PP-OCRv5架构转换而来,通过ONNX格式实现跨平台部署。本文将详… · 2026/11/3 1:44:17

Qwen3-Omni登顶全球开源榜单:阿里全模态大模型重构AI交互范式
Qwen3-Omni登顶全球开源榜单:阿里全模态大模型重构AI交互范式

Qwen3-Omni登顶全球开源榜单:阿里全模态大模型重构AI交互范式 导语 阿里巴巴通义千问团队发布的Qwen3-Omni全模态大模型近日登顶Hugging Face全球开源榜单,其原生端到端架构实现文本、图像、音频、视频的无缝融合处理,在36项音视频基准测试… · 2026/11/3 1:44:17

透视每一个请求:OpenRouter ai-sdk-provider调试模式echo_upstream_body实战
透视每一个请求:OpenRouter ai-sdk-provider调试模式echo_upstream_body实战

【免费下载链接】ai-sdk-provider The OpenRouter provider for the Vercel AI SDK contains support for hundreds of models through the OpenRouter chat and completion APIs. 项目地址: https://gitcode.com/gh_mirrors/ai/ai-sdk-provider 点击查看 免费下载 … · 2026/11/3 2:21:23

模拟舵机、数码(数字)舵机、无刷大扭矩舵机区别
模拟舵机、数码(数字)舵机、无刷大扭矩舵机区别

核心定义1.模拟舵机(模拟电机舵机) 最早一代舵机,接收 PWM 信号,持续通电检测偏差,有偏差就不停修正。 ✅优点:价格便宜、电路简单,入门 RC 小车、小型模型够用; ❌缺点:… · 2026/11/3 2:21:23

Folia 安装指南:把全屏歌词动画播放器装到你电脑和 NAS 上
Folia 安装指南:把全屏歌词动画播放器装到你电脑和 NAS 上

Folia 安装指南:把全屏歌词动画播放器装到你电脑和 NAS 上 【免费下载链接】folia-major 专注于绚丽的歌词动画效果的本地音乐/navidrome/第三方多平台在线音乐播放器 项目地址: https://gitcode.com/GitHub_Trending/fo/folia-major Folia 是一款把歌词渲染… · 2026/11/3 2:21:23

OpenScreen 离线字幕怎么打包?Whisper 模型预置全流程
OpenScreen 离线字幕怎么打包?Whisper 模型预置全流程

OpenScreen 离线字幕怎么打包?Whisper 模型预置全流程 【免费下载链接】openscreen Create stunning demos for free. Open-source, no subscriptions, no watermarks, and free for commercial use. An alternative to Screen Studio. 项目地址: https://gitcode… · 2026/11/3 2:21:23

如何用 Thaw 管理 macOS 菜单栏图标:被刘海藏起来的图标怎么找回来
如何用 Thaw 管理 macOS 菜单栏图标:被刘海藏起来的图标怎么找回来

如何用 Thaw 管理 macOS 菜单栏图标:被刘海藏起来的图标怎么找回来 【免费下载链接】Thaw The open source menu bar manager 项目地址: https://gitcode.com/gh_mirrors/thaw/Thaw Thaw 是一款开源的 macOS 菜单栏管理器:它把菜单栏图标分成可见… · 2026/11/3 2:21:23

AutoHotkey自动化:3步搞定桌面文件整理
AutoHotkey自动化:3步搞定桌面文件整理

AutoHotkey自动化:3步搞定桌面文件整理 【免费下载链接】AutoHotkey AutoHotkey - macro-creation and automation-oriented scripting utility for Windows. 项目地址: https://gitcode.com/gh_mirrors/au/AutoHotkey 周五下午,一周的下载、截图… · 2026/11/3 2:20:23

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/2 13:10:28

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/2 4:42:45

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/2 5:17:18

STM32F411RE与MAX14431实现SPI隔离:工业现场抗共模干扰实战
STM32F411RE与MAX14431实现SPI隔离:工业现场抗共模干扰实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 1:01:59

ESP32+大模型AI硬件开发:从Demo到产品的8个工程问题
ESP32+大模型AI硬件开发:从Demo到产品的8个工程问题

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 1:01:59

基于MAX14431BAEE+与PIC18F85J10的SPI隔离方案设计与实践
基于MAX14431BAEE+与PIC18F85J10的SPI隔离方案设计与实践

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 1:01:59

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/2 13:10:28

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/2 4:42:45

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/2 5:17:18

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码