让AI学会“咬耳朵”：腾讯这个1.5B开源语音模型，把声音变成了可以随便改的文档-云帆数科

让AI学会“咬耳朵”腾讯这个1.5B开源语音模型把声音变成了可以随便改的文档深夜想给对象发条语音又怕吵醒合租室友给短视频配一段“贴耳ASMR”录了二十遍还是不够味儿广播剧里角色潜行那段“悄悄话”配音演员憋着嗓子录到失声。以前这些事要么靠人硬扛要么靠一堆插件来回倒腾。现在腾讯混元开源的一个语音模型 AuK把“说悄悄话”直接做成了一个指令任务——你上传一段正常说话的录音打一句“用小声耳语的方式把这段话说出来”它就能还你一段气声版音色还是原来那个人内容一个字不差。这事儿在技术圈引起了不少讨论因为它背后藏着一个更大的信号只会“开口说话”的语音生成模型开始学会“听懂”和“精修”了。一、先泼盆冷水这里的 Whisper不是那个 Whisper得先把一个全网都在误会的点讲清楚。看到“Whisper 转换”这几个字很多人的第一反应是 OpenAI 那个大名鼎鼎的语音识别模型 Whisper于是标题就变成了“语音生成模型开始兼容 ASR语音识别生态”。其实在 AuK 这里Whisper 指的是**“耳语、气声”**这种说话方式不是那个识别模型。它做的是一件很物理的事儿把正常嗓音换成贴着耳朵说话的气声或者反过来把气声还原成正常嗓音。一字之差方向完全相反一个是“把声音变成文字”一个是“把声音变成另一种声音”。不过有意思的是这场误会反而戳中了真相的一半——AuK 的整套流程里确实实打实地把语音识别请进了门。你上传一段音频、随口说一句“把这段改成普通话”模型并不知道你想干嘛。于是它会先用识别能力把音频“听”一遍判断这是哪类任务、这段话多长、大概该输出多少秒再自动帮你把口语化的需求翻译成规范的指令。云端识别服务没配好它会自动退回本地的小型识别模型顶上。生成模型和识别模型就这么在一套流程里握了手。这才是真正值得聊的地方AI 语音的竞争已经从“谁嗓门更像真人”打到了“谁更懂这段声音里发生了什么”。二、它到底是个啥一个“会听会改”的声音后期师傅抛开参数和架构AuK 的定位其实特别朴素它是一个 1.5B 参数的语音基础模型你把一段音频和一句人话丢给它它把改好的音频还给你。就像你身边坐着一位干了十年的后期师傅你不用打开任何专业软件只要动嘴“把这句话里的‘但是’改成‘所以’。” “把这段四川口音去掉声音别变。” “把背景噪音和混响都清掉人声留干净。” “把这首歌里的人声单独抠出来。” “把情绪改成开心一点。” “把语速调成 1.5 倍。”据官方公布的清单这样一句话搞定的任务有16 种横跨语音生成、内容编辑、声学编辑、副语言编辑以及降噪分离五大类。打个比方以前你想干这十几种活得装十几个软件、下十几个模型每个都有自己的操作界面和参数表现在相当于把所有遥控器揉成了一个还支持你直接对它说话。而且它是 MIT 协议开源代码和权重都放出来了商用也行。这一点在圈内的分量懂的人自然懂。三、“悄悄话”这件小事为什么反而最难16 个任务里Whisper 转换看起来最不起眼甚至有点“花边”。但它恰恰是这类模型能力的一道分水岭。正常说话声带在振动声音有明确的音高模型很容易抓住“这是谁”。可耳语不一样——声带几乎不振动基频基本消失剩下的只有气流的摩擦声。这就像让画家凭一张打了马赛克的侧脸画出这个人的正脸还得保证画出来的确实是同一个人。更难的是它要求“等长输出”原来说了 8 秒改完还得是 8 秒节奏不能乱、呼吸不能丢、语气不能垮。实际用起来这个能力能落到很多具体场景里深夜语音消息不想外放、不想吵人又不想打字把正常录音一键变气声ASMR 和助眠内容不用真的贴着麦克风憋气录几十遍一段正常朗读就能转广播剧、有声书角色“耳边低语”的段落直接由正常台词转出来音色统一游戏配音潜行、密谋、受伤虚弱的台词改一版气声只要几秒短视频口播想要“贴耳感”的氛围不用重新录。反过来也成立粉丝投稿的气声录音太虚可以还原成正常说话老素材里只有耳语片段也能“补”成正常音轨。社区里已经有人拿它折腾 ASMR 内容评价挺直接这东西把“表演”变成了“调参”。四、比悄悄话更狠的是它敢动“内容”如果说耳语转换是巧劲那内容编辑就是硬功夫。你可以直接让它把一段话里的某句词换掉、插一句、删一句音色、语速、韵律、口音全都保留听起来就像本人重新录了一遍。歌词也能改。把一首纯人声演唱里的某个词换成另一个词旋律和嗓音都不动——当然前提是得先把伴奏分离掉它自己也带人声分离功能正好接得上。还有两个被网友实测刷屏的能力一句“去掉方言口音”四川话直接变标准普通话声音还是你的声音。一句“只保留说某句话的人”嘈杂多人对话里它能靠“他说了什么”把目标人物单独拎出来。这已经不是简单的音频处理了更像是模型真的“理解”了这段声音的内容结构。从官方公布的横向对比看AuK 在语音生成、指令化编辑等多项基准上都处在第一梯队在降噪、分离这类信号级任务上也保持了竞争力。五、说点实在的它不是万能坑也有吹完得说缺点不然不厚道。第一有长度限制。在 ComfyUI 那套可视化流程里参考音频加目标音频合起来大概只有 30 秒的额度长音频得自己切片处理。做长视频的朋友要有心理准备。第二情绪编辑还不算靠谱。官方技术报告里情绪编辑的严格成功率只有一成左右。也就是说你让它“改成开心”它有时候只是把语调抬高了一点点未必真换了情绪。这个能力目前更像“聊胜于无”。第三对硬件不算友好。官方实测单张 A800 上峰值显存大约 25GB打开 CPU 卸载能降到 17GB 左右省下三成多。加上之前的一次优化编码器内存又降了约 7.5GB普通消费级显卡勉强能够到门槛但不是“老笔记本随便跑”的级别。第四它不是实时工具。定位是“事后精修”不是直播变声。六、普通人想玩门槛到底高不高分三种情况说。完全不想折腾的Hugging Face 和魔搭上都有官方在线体验页打开网页、上传音频、写一句话、点生成就这么简单。先拿 5 到 10 秒的短素材试水别一上来就丢一小时的录音。有台带显卡的电脑的装好环境、下好权重一行命令启动网页界面或者用 ComfyUI 把节点拖起来做成自己的语音流水线。苹果 M 系列芯片也有官方适配的分支能本地跑。搞开发的它已经被 SGLang、vLLM 这类推理框架第一时间接住还有社区做了量化版本和本地离线推理支持甚至被 ICASSP 2027 音频编辑挑战赛选为基线模型。一句话总结适合谁短视频和自媒体创作者、有声书与广播剧从业者、播客后期、游戏配音、电商口播以及所有不想把自家录音传到别人服务器上的人。七、写在最后AuK 真正让人有点在意的地方不是它能把声音改得多花哨而是它代表了一种转向语音正在从“一次成型的成品”变成“随时可编辑的素材”。以前音频像一张照片拍完就定了现在它更像一份文档想改哪句改哪句想换什么语气换什么语气。而要改得准模型就必须先“听懂”——这也是为什么生成模型绕了一圈终究还是把识别能力请回了自己家里。当然能力越强担心也越多。一句话就能把任何人的声音变成耳边低语也能把口音抹得干干净净这种技术落在坏人手里会怎么样开源、免费、可商用这道题没有标准答案。那么问题来了如果现在给你一个按钮一句话就能把任何一段声音改成你想要的语气、口音和情绪你第一件事会拿它做什么又想给这类技术加上什么样的“安全锁”创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

企业数字化 ERP 产品动态

相关推荐

if 语句 vs Jev：写了几百行规则才发现，AI 决策这笔账根本不是那么算的

if 语句 vs Jev：写了几百行规则才发现，AI 决策这笔账根本不是那么算的先说个很多公司都经历过的场景。一个退款审核需求，最开始只有三条规则：有凭证、30 天内、金额不超过 500。程序员随手写了几个 if，半小时收工。 … · 2026/11/3 10:33:58

同一个模型，两张脸：AuK 在海内外两个平台的数据，把国产开源的“里子”照出来了

同一个模型，两张脸：AuK 在海内外两个平台的数据，把国产开源的“里子”照出来了同一款模型，同一天开源，同一套权重。放到海外平台，它收获了一堆点赞和收藏，被写进各种“本周最值得关注的语音模… · 2026/11/3 10:33:58

如何10分钟跑通DeepSeek-V4.1-Flash-1017-oQ3e-ngram-mtp？oMLX下载与推理快速上手教程

如何10分钟跑通DeepSeek-V4.1-Flash-1017-oQ3e-ngram-mtp？oMLX下载与推理快速上手教程想在 Apple Silicon 上本地跑起 DeepSeek-V4.1-Flash-1017-oQ3e-ngram-mtp 吗？这是由 oMLX（oQ）混合精度量化而成的 DeepSeek-V4.1-Flash 多模… · 2026/11/3 10:32:57

Dreamtonics发布Vocoflex：10秒歌声克隆真人音色

前阵子音乐软件圈里有个不大不小的消息：Dreamtonics 正式发布了 Vocoflex。这款产品值得单独拿出来聊，原因很简单——一家做 Synthesizer V 的公司，突然把目标从“合成歌手的声音”转向“克隆真人的声音”，而且整个学习过程只需要… · 2026/11/4 8:14:48

GPT-SoVITS：零样本声音克隆神器，5秒音频生成专属音色

最近一周，GitHub 趋势榜上杀出一个让我这种见惯 repo 起落的老玩家都忍不住多看两眼的项目，光声音克隆这一个关键词，就带着它直接暴涨了 3.3 万 Star，刷屏速度堪比当年 Stable Diffusion 刚开源那会儿。圈内人应该已经反应过来了&… · 2026/11/4 8:14:48

光伏MPPT技术中PSO算法的优化与应用

1. 光伏MPPT技术背景与挑战光伏发电系统在实际运行中常面临局部遮阴（Partial Shading）导致的功率曲线多峰化问题。传统MPPT算法如P&O（扰动观察法）和INC（电导增量法）在均匀光照条件下表现良好&#xff… · 2026/11/4 8:14:48

语音驱动智能硬件开发：从麦克风选型到模型部署的系统工程

1. 这不是“语音硬件”的简单拼凑，而是让设备真正听懂你的一次系统性重构“手把手教你怎么用语音实现智能硬件开发”——这句话里藏着三个被严重低估的关键词：语音、智能硬件、开发。不是“用语音控制灯泡”，也不是“给音箱加个麦克风”&… · 2026/11/4 8:14:48

Agent技术驱动的自动化数据分析系统架构与实践

1. 项目背景与核心价值数据分析领域正经历一场静默革命。过去三年，我见证了超过200家企业从传统"SQLExcel人工报告"模式转向自动化流水线。但真正让我兴奋的是最近出现的Agent技术——它让自动化从"脚本级"进化到了"认知级"。这个… · 2026/11/4 8:14:48

AI外呼机器人核心技术解析与实战部署指南

1. AI外呼机器人技术解析与应用场景 AI外呼机器人本质上是通过语音识别（ASR）、自然语言处理（NLP）和语音合成（TTS）三大核心技术构建的智能交互系统。在电销场景中，这类系统能够实现日均3000-5000… · 2026/11/4 8:13:47

双极步进电机控制实战：DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 3:16:49