首页/新闻资讯/正文详情

腾讯开源SongGeneration:LeVo架构如何重塑AI音乐创作生态

发布时间:2026/11/3 1:52:18 来源:云帆数科 栏目:资讯中心
腾讯开源SongGeneration:LeVo架构如何重塑AI音乐创作生态
腾讯开源SongGenerationLeVo架构如何重塑AI音乐创作生态导语腾讯AI Lab正式开源基于LeVo架构的SongGeneration音乐生成大模型以双轨并行建模技术突破传统AI音乐人声伴奏割裂痛点性能媲美国际主流系统。行业现状AI音乐生成的双轨竞争格局2025年全球AI音乐生成市场规模预计突破36亿美元年复合增长率达30.5%。当前市场呈现明显的双轨并行格局以Suno AI、Udio为代表的闭源工具主打一键生成的C端体验而开源模型则成为B端开发者的技术基石。中国传媒大学音乐与录音艺术学院的评测显示现有开源模型普遍存在三大痛点人声与伴奏融合度不足、中文歌词对齐准确率低平均6.8/10分、长歌曲结构松散。随着AI手机的普及端侧大模型正催生实时即兴创作新场景。数据显示2024年全球23%的短视频配乐来自AI生成其中基于开源模型二次开发的占比达41%。在此背景下腾讯选择开源SongGeneration标志着国内AI音乐技术从实验室走向产业应用的关键转折。核心亮点LeVo架构的四大技术突破1. 双轨并行建模从割裂到和谐的音质革命SongGeneration采用创新的LeLM双轨并行架构通过混合Token与分离Token的协同建模彻底解决传统AI音乐中人声与伴奏脱节的问题。混合Token融合人声与伴奏音频确保和谐统一分离Token则独立编码人声与乐器细节支持后续精细化调整。如上图所示该架构展示了歌词、音频提示等多模态输入通过BPE Tokenizer编码为Token经LeLM生成双轨Token和混合Token最终由Codec Decoder生成音频波形的完整流程。这种设计使模型在保持48kHz高保真音质的同时将人声伴奏和谐度提升30%。2. 性能对标国际中文场景实现超越在腾讯联合中国传媒大学建立的评测体系中SongGeneration在开源模型中稳居第一在商业模型中也位列前茅。客观测评显示其内容欣赏度(CE)达9.05分制作质量(PQ)达8.92分均超越Suno v4.5。特别在中文场景下古风歌词与笛箫伴奏的和谐度表现尤为突出戏腔转音无机械感。从图中可以看出在旋律、伴奏、结构、音质、歌词准确度五个维度的主观评测中SongGeneration与Suno v4.5难分伯仲其中歌词准确度(LYC)以7.21分超越Suno的7.00分体现出对中文语言的深度优化。3. 多模态输入与灵活控制模型支持文本描述、参考音频、结构化歌词等多种输入方式用户可通过male, dark, pop, piano, bpm110等指令精确控制生成风格。特别值得注意的是其零样本音色克隆功能仅需3秒音频片段即可复制目标音色且无需额外训练数据。4. 轻量化设计平衡性能与部署成本尽管性能强大SongGeneration-base模型参数量仅3B左右可在10G显存的GPU上运行大幅降低开发者使用门槛。模型提供多个版本选择从支持2分30秒的基础版到4分30秒的完整版满足不同场景需求。行业影响与趋势开源生态的鲶鱼效应SongGeneration的开源预计将加速AI音乐创作工具的普及进程。开发者可通过GitCode仓库仓库地址https://gitcode.com/tencent_hunyuan/SongGeneration获取代码与权重实现本地化部署和垂直场景定制。这一举措可能重塑行业格局推动形成闭源工具服务C端用户开源模型赋能B端创新的生态平衡。在应用层面模型已展现出在短视频配乐、游戏音效、虚拟人演出等场景的潜力。随着端侧AI能力的增强未来可能催生实时即兴创作等新场景——用户通过手机即可随时随地生成个性化音乐进一步拓展AI音乐的应用边界。该图片展示了由科技感线条和光点构成的AI大脑形象周围环绕麦克风、音箱等音乐元素底部的音频波形图象征AI在音乐生成中的技术应用。这一场景预示着未来AI音乐创作将向更智能、更自然的多模态交互方向发展。版权挑战与合规路径随着AI音乐生成技术的普及版权问题日益凸显。SongGeneration训练数据基于百万歌曲数据集(Million Song Dataset)并采用多维度人类偏好对齐技术在提升音乐性的同时降低侵权风险。参考ElevenLabs等先行者的经验未来行业可能需要建立授权数据训练版权水印人工审核的三重合规机制。腾讯AI Lab表示将持续优化模型的版权安全机制并与音乐产业各方合作探索合理的权益分配模式。对于开发者而言在使用开源模型时应特别注意训练数据的合规性遵循重要人工投入原则确保AI生成内容的独创性。总结音乐创作的技术普惠时代来临SongGeneration的开源释放标志着AI音乐生成技术从小众实验迈向大众创作的关键一步。它既非取代人类创作者的终结者也不是简单的效率工具而是重构创作流程的协作伙伴。对于想要进入AI音乐领域的开发者和创作者建议从SongGeneration等开源模型入手结合具体场景进行二次开发。随着模型性能迭代和应用生态丰富我们或将迎来人人皆可创作音乐的普惠时代但这需要技术开发者、内容创作者、法律专家共同构建健康的行业规范在创新与版权保护之间找到平衡。正如腾讯AI Lab在技术白皮书所言AI不是要替代音乐家而是让更多人拥有表达音乐创意的能力。在这场音乐创作的技术革命中开源将成为连接技术与艺术的重要桥梁最终让音乐创作回归最本质的价值——情感表达与文化传播。创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

相关推荐

任务4-2 创建和维护数据表
任务4-2 创建和维护数据表

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 1:51:18

ERNIE 4.5-VL:多模态AI效率革命,重新定义企业级应用落地经济学
ERNIE 4.5-VL:多模态AI效率革命,重新定义企业级应用落地经济学

ERNIE 4.5-VL:多模态AI效率革命,重新定义企业级应用落地经济学 导语 百度ERNIE 4.5-VL通过异构MoE架构与2Bits无损量化技术,将424B参数模型的显存需求压缩至消费级GPU可承载范围,单卡日处理能力突破百万级请求,彻底改… · 2026/11/3 1:51:18

3.5倍训练提速!蚂蚁Ming-UniVision终结视觉AI“散装时代“
3.5倍训练提速!蚂蚁Ming-UniVision终结视觉AI“散装时代“

3.5倍训练提速!蚂蚁Ming-UniVision终结视觉AI"散装时代" 导语 蚂蚁集团开源发布的Ming-UniVision-16B-A3B多模态大模型,首次以统一连续视觉表征技术打破图像理解与生成的模态壁垒,将多模态训练收敛速度提升3.5倍,重新… · 2026/11/3 1:51:18

Higgsfield CLI浏览器游戏发布:ZIP上传、Marketplace上架与3D动画目录,终端完成游戏上线
Higgsfield CLI浏览器游戏发布:ZIP上传、Marketplace上架与3D动画目录,终端完成游戏上线

【免费下载链接】cli Higgsfield CLI 项目地址: https://gitcode.com/gh_mirrors/cli419/cli 点击查看 免费下载 Higgsfield CLI 是一款终端工具,本次更新的浏览器游戏发布功能让你无需打开网页后台,就能完成三件事:ZIP 上传游戏… · 2026/11/3 2:22:23

中医养生系统|基于springboot + vue中医养生系统(源码+数据库+文档)
中医养生系统|基于springboot + vue中医养生系统(源码+数据库+文档)

中医养生系统 目录 基于springboot vue中医养生系统 一、前言 二、系统功能演示 三、技术选型 四、其他项目参考 五、代码参考 六、测试参考 七、最新计算机毕设选题推荐 八、源码获取: 基于springboot vue中医养生系统 一、前言 博主介绍:✌… · 2026/11/3 2:22:23

ESP32 开发第一程:4 个关卡从点亮 LED 到无线更新固件
ESP32 开发第一程:4 个关卡从点亮 LED 到无线更新固件

ESP32 开发第一程:4 个关卡从点亮 LED 到无线更新固件 【免费下载链接】arduino-esp32 Arduino core for the ESP32 family of SoCs 项目地址: https://gitcode.com/GitHub_Trending/ar/arduino-esp32 arduino-esp32 是乐鑫官方为 ESP32 系列芯片维护的 Ardu… · 2026/11/3 2:22:23

数据结构其实很简单(四): 队列——顺序队列、环形队列与链式队列
数据结构其实很简单(四): 队列——顺序队列、环形队列与链式队列

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 2:22:23

MinerU 4.0 正式发布:让复杂文档成为 Agent 可用的知识基础设施
MinerU 4.0 正式发布:让复杂文档成为 Agent 可用的知识基础设施

MinerU 是上海人工智能实验室 OpenDataLab 团队开源的智能文档解析工具,也是开源社区中最受欢迎的复杂文档解析工具之一。它面向 PDF、图片、办公文档、网页、电子书等复杂文档,提供结构化解析与内容提取能力。目前,MinerU 已获得超过 8 万 G… · 2026/11/3 2:22:23

透视每一个请求:OpenRouter ai-sdk-provider调试模式echo_upstream_body实战
透视每一个请求:OpenRouter ai-sdk-provider调试模式echo_upstream_body实战

【免费下载链接】ai-sdk-provider The OpenRouter provider for the Vercel AI SDK contains support for hundreds of models through the OpenRouter chat and completion APIs. 项目地址: https://gitcode.com/gh_mirrors/ai/ai-sdk-provider 点击查看 免费下载 … · 2026/11/3 2:21:23

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/2 13:10:28

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/2 4:42:45

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/2 5:17:18

STM32F411RE与MAX14431实现SPI隔离:工业现场抗共模干扰实战
STM32F411RE与MAX14431实现SPI隔离:工业现场抗共模干扰实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 1:01:59

ESP32+大模型AI硬件开发:从Demo到产品的8个工程问题
ESP32+大模型AI硬件开发:从Demo到产品的8个工程问题

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 1:01:59

基于MAX14431BAEE+与PIC18F85J10的SPI隔离方案设计与实践
基于MAX14431BAEE+与PIC18F85J10的SPI隔离方案设计与实践

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 1:01:59

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/2 13:10:28

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/2 4:42:45

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/2 5:17:18

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码