AuK 官宣当天：腾讯混元把 16 种语音任务塞进一句话指令，语音 AI 的 ChatGPT 时刻提前到了？

AuK 官宣当天腾讯混元把 16 种语音任务塞进一句话指令语音 AI 的 ChatGPT 时刻提前到了2026 年 9 月 9 日腾讯混元官方宣布开源 AuK——一个 1.5B 参数的语音基础模型。代码与权重同日放出arXiv 技术报告2609.08936在几天前就已挂出SGLang-Omni 团队甚至完成了 Day 0 的推理支持。它为什么值得关注因为过去两年语音领域的能力拼图一直是被拆散的零样本克隆是一个模型TTS 指令控制是另一个降噪、分离、改情绪、去口音又各是一套管线。而 AuK 做的事情是把 16 类任务——从零样本 TTS、内容编辑、副语言编辑到降噪与声源分离——全部收敛到同一个自然语言指令接口上。你不需要告诉系统调用哪个 API只需要说人话。这正是标题里ChatGPT 时刻的由来LLM 用一句话指令统一了问答、写作、代码而 AuK 试图用同样的范式统一整个语音工具箱。本文基于官方仓库与技术报告把公告逐条拆开看看它的 16 种任务怎么落地、旗舰能力真实水平如何以及这套设计对语音模型下一步演进意味着什么。公告逐条解读一套接口16 类任务先看官方仓库README给出的任务清单。AuK 把所有任务按五大能力族组织每一类都通过同一接口暴露一条自然语言指令 可选的输入音频 → 目标波形。能力族具体任务语音生成零样本 TTS参考音频克隆、Instruct TTS纯文字描述设计声音内容编辑语音内容增删改、歌词改写保留旋律与原唱声学编辑音高半音级、语速、音量分贝级副语言编辑情绪、音色、去口音、非语言声呼吸/笑声/咳嗽、耳语互转增强与分离语音增强降噪/去混响、说话人分离、音乐人声分离、目标说话人抽取这里有两个容易被16 种任务这个数字掩盖的关键设计其一接口统一不等于能力堆叠。技术报告指出这些任务的输出约束根本不同生成是创造新语音内容编辑只动指定区间副语言编辑必须保住语言内容增强/分离则要保留场景中指令指定的分量。AuK 的统一方式不是给一个大模型挂 16 个子头而是构造了约30.3 亿条指令—音频对、195 万小时有效监督数据让同一个流匹配目标在不同任务上各自学习约束。预训练第二阶段的任务采样比例也能看出侧重语音生成 28.10%、内容编辑 23.02%、增强与分离 23.17%、副语言编辑 21.75%、声学编辑 3.96%。其二说人话背后有一个 Prompt EnhancerPE。报告诚实地承认模型对完全自由的口语化请求原生遵循还不够稳所以推理管线里放了一个任务路由层——识别目标任务、抽取控制参数、把把说话加快一点这类模糊说法映射到训练分布支持的离散值如 1.25×/1.5×/2.0× 语速档并按任务模板估计输出时长后才进入流采样。已经符合规范格式的指令可以直接绕过 PE。这个设计后面演进一节还会重点讨论。另外两条公告细节值得记录双变体发布AuK高质量基座32 步 NFE CFG 2.0 推理与 AuK-Flash蒸馏版4 步、无 CFG、实测 4.5× 墙钟加速两者共享同一 VAE 与 latent 空间。MIT 协议。官方 LICENSE 明确训练代码、推理代码、参数与权重均按 MIT 开放可商用——这在语音基础模型里相当少见也是社区讨论热度高的重要原因。旗舰能力速览数据说话零样本 TTS不要参考文本的跨句克隆AuK 的零样本 TTS 做了两件聪明事。第一训练数据构造放弃了同一段录音切成 prompt 和目标的常规做法而是同一说话人的不同句子互为 prompt 与目标——这迫使模型把说话人不变量和句子特有因素解耦报告称该构造同时提升了表现力与说话人相似度。第二由此得到一个工程红利无需参考音频转写。推理时只需参考波形 目标文本部署上不用再外挂一个 ASR。Seed-TTS-Eval 上的数字三跑均值AuK 平均 WER 2.65%Qwen3-TTS 3.07%、Seed-TTS 3.65%平均说话人相似度 0.795对比 Seed-TTS 0.778AuK-Flash 以 4 步推理拿到 2.85% WER / 0.790 SIM几乎无损。Instruct TTS 侧AuK 中文 DSD 准确率 83.37%比 Qwen3-TTS-VD 高 2.27 个百分点。去口音社区实测最出圈的能力社区反馈里被点名最多的能力是去口音——一句话改口音成了官宣当天的传播梗。看数据构造官方用覆盖13 种中文方言/地方口音类别的内部语料构建配对数据CosyVoice2 先合成同说话人的标准普通话参考再用 OmniVoice 做部分掩码重建目标波形遵循标准普通话发音同时保留原说话人的音色与韵律。更有意思的是报告里的涌现观察去口音监督只覆盖中文但模型对英语口音包括印度英语、日式英语也能降口音且基本保住说话人身份。一个只在中文上监督的声学变换被统一训练泛化到了另一门语言——这是统一接口设计最诱人的副产品。情绪、音色、非语言编辑有高光也有短板音色编辑基于 X-VC 训练语料SeedVC-Small 构造按组做四组对齐的源—目标对Qwen3-Omni 为目标音色生成自然语言描述形成改成某某音色的编辑指令。非语言编辑覆盖39 类事件生理声、情感表达、话语性发声支持删除与插入双向构造。但短板同样被官方数据摆上台面SpeechEditBench 上 AuK 的情绪编辑成功率仅9.94%对比其内容编辑 91.83%、韵律编辑 71.33%。社区评测也复现了这一点加上单段音频约 30 秒的长度限制是目前上手 AuK 最常被吐槽的两件事。换言之改内容、改声学、去口音已经很强改情绪还只是 demo 级。编辑与信号处理的完整账本MMAE-SpeechAuK 指令遵循 IFR 48.23%、一致性 CR 88.11%均超此前最强基线 Step-Audio-EditX43.52% / 77.27%AuK-Flash 的 EMR全指标同时达标13.85% 为全场最高。Ming-Freeform-Audio-EditFull 难度中文语义编辑平均 WER 从 Ming-UniAudio 的 10.46% 压到 3.09%编辑准确率 79.62% → 91.47%。信号级任务上有竞争力但不碾压DNS Challenge dWER 2.66%全场最低之一、CHiME-4 WER 7.84%Flash、Libri2Mix 双说话人分离 WER 9.12% / PER 6.63%显著好于 SAM-Audio 的 57.22% WER。一个 1.5B 模型把专业增强/分离系统卷到这个水位正是统一模型叙事最硬的部分。VAE 重建AuK-VAE 在语音Seed-TTS-Eval、通用音频AudioSet、音乐MUSDB18-HQ三个域上 PESQ/STOI/Mel Dist/STFT 四项指标全部第一——共享 latent 空间的质量是所有编辑能力的地基。工程落地从 config.yaml 看它的骨架这个仓库本身就是一个权重仓库结构极简auk_base.safetensors扩散 Transformer 层融合权重、vae.safetensors声码器加上 config.yaml。但这份 45 行的配置几乎把架构讲了个遍model: name: AuK backbone: Flux2Edit # FLUX 风格主干 cfm_class: CFMEdit # 条件流匹配 text_encoder: text_encoder_path: ckpts/Qwen2.5-Omni-3B # MLLM 语义编码器 arch: dim: 1536 heads: 24 num_layers: 10 # 双流 MMDiT 块 num_single_layers: 20 # 单流 DiT 块 vae: vae_name: BigVGANFlowVAE # BigVGAN 风格的 Flow 增强 VAE latent_dim: 64 downsample_rate: 480 # 24kHz / 480 50Hz latent target_sample_rate: 24000 model_init_kwargs: causal: true # 因果解码器支持流式几个工程要点双 30 层混合 Transformer前 10 层双流 MMDiT 块让语义流Qwen2.5-Omni-3B 的逐层隐状态可学习加权和而非固定取最后一层与声学流VAE 参考 latent 加噪目标 latent做联合注意力但保留各自残差通路后 20 层单流 DiT 把拼接序列精化并预测流速度场。整个主干约 1.5B 参数256 卡 ZeRO-2 bf16 训练50k 生成预热 600k 联合预训练。24kHz 因果 VAE64 维 latent、50Hz 帧率480 倍下采样snake 激活 BigVGAN 残块的多周期解码器。因果设计意味着可流式出波——这是实时场景的前提。蒸馏的细节藏得很深AuK-Flash 用一致性初始化 任务路由的 Decoupled DMD两阶段蒸馏。其中任务路由是因为直接对全部任务做分布匹配会破坏分离能力学生输出退回未分离的混合声于是分离样本被单独路由到干净的监督回归目标绕过 DMD 更新两侧。一个蒸馏流程里要为某类任务开侧门本身就是统一模型各任务特性差异巨大的注脚。部署侧官方推荐 SGLang-Omni 的 Day 0 支持一条python -m sglang_omni.cli serve --model-path tencent/AuK起服务HF 与 ModelScope 双平台上架 Demo SpaceGradio 体验、ComfyUI 管线与微调定制是社区已经跑通的三条路径。注意运行时 MLLM 编码器与 VAE 从独立文件加载因此 checkpoint 中缺text_encoder.*键属于预期行为加载时不用慌。从 LLM 的指令范式看语音模型的下一程AuK 的真正意义不在某个 SOTA 数字而在于它把 LLM 时代验证过的范式三件套完整搬进了语音生成1. 统一指令接口 能力收敛。LLM 用上下文统一了任务AuK 用指令 可选音频上下文统一了 16 类语音任务。训练上体现为共享流匹配目标 分层条件 dropout30% 概率丢声学条件、20% 概率全丢以同时支持有参考/纯文本/无条件三种配置推理上体现为同一个流采样器。代价是必须引入 PE 做任务路由——这和当年 LLM 应用靠 prompt 模板把能力调出来如出一辙。2. 后训练双轨 DPO RL 的语音化。编辑任务没有现成奖励模型官方直接采了 818 组、9080 条人评候选三档有序标签用 Flow-based DPO LiPO 序数级列表目标对齐自然度/编辑强度/上下文恰当性这些主观维度生成任务则上 Flow-GRPO用 ASR 内容正确率容忍同音字误差 严格错误率分级、说话人嵌入余弦相似度、以及一个基于 Qwen2.5-Omni-7B 训练的风格一致性判别器做奖励并专门设计了对抗高相似度补偿错误内容的奖励劫持路径。这套开放编辑用偏好、封闭生成用 RL的分法基本可以预期成为后续统一语音模型的标准配方。3. 蒸馏降本 Flash 变体成默认形态。4 步无 CFG 对 32 步 CFG 2.0 的 4.5× 墙钟加速配合 1.5B 参数和 24kHz 因果 VAE让本地/边缘可跑的统一语音模型第一次具备工程可行性——社区讨论里 3B 的 Omni 编码器带来的显存压力是主要门槛Flash 变体几乎是刚需。那么ChatGPT 时刻到了吗比较准确的判断是接口范式到了原生能力没到。技术报告自己在Discovery一节承认尝试过用多智能体管线改造自 Audio-Oscar扩充自由指令的 SFT 数据增加了语言多样性但没有产生对任意用户请求足够鲁棒的泛化——触达能力上限仍然依赖 PE 的任务路由与指令改写。报告还把这个现象上升到更广的层面图像、视频、音画生成系统普遍存在拥有能力与用不受约束的语言可靠调起能力之间的鸿沟。乐观的一面是涌现证据只在正常↔耳语上监督的模型学会了从文字直接合成耳语编辑能力迁移到生成只在中文上监督的去口音泛化到了英语。如果统一接口能让声学变换跨任务、跨语言地因子化复用那么下一代的竞争点就很清晰了——减少对外部路由器的依赖、提升原生指令落地与组合泛化让说人话这件事真正由模型自己闭环。对从业者的实操建议现在就把 AuK 当作语音后期工具箱接入管线内容编辑、去口音、增强分离已经可用但涉及情绪表达的产品链路暂时不要押注盯紧两件事——情绪编辑成功率的提升节奏以及 Prompt Enhancer 依赖的收敛速度。前者决定体验下限后者决定它离真正的语音 ChatGPT 时刻还有多远。创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考