VoxCPM2-NPU 续写模式与终极克隆模式详解：提示音频、文本与参考人声如何无缝衔接

人工智能大模型语音音频Ascend【免费下载链接】VoxCPM2-NPU项目地址https://ai.gitcode.com/z_studio/VoxCPM2-NPU点击查看免费下载VoxCPM2-NPU 是 OpenBMB 开源的 VoxCPM2 免分词扩散自回归 TTS 模型在昇腾 NPU 上的推理适配项目。本文详解 VoxCPM2 的续写模式与终极克隆模式如何仅用提示音频 提示文本让语音自然续写以及如何叠加参考人声实现最高相似度的声音克隆并给出完整命令与实测数据适合新手快速上手。一、项目速览一条命令跑出 48 kHz 语音VoxCPM2 是约 2.38B 参数的多语种 TTS 模型支持 30 种语言输出 48 kHz 高保真语音。本项目已在单卡 Ascend 910B 上跑通端到端推理核心就是一条 inference.py推理链路为文本/提示音频 → TSLM 自回归预测声学 token → LocDiT 扩散采样 → AudioVAE 解码为 48 kHz 波形。克隆与续写能力都建立在这条流水线之上。二、先跑环境确认 NPU 就绪运行任何合成命令前先用npu-smi info确认逻辑卡HealthOK且显存空闲见 README.md三、三种音色参考模式对比模式关键参数模型学到的东西典型场景️ 参考人声克隆--ref-wav参考说话人的音色用某个人的声音朗读任意文本 续写模式--prompt-wav--prompt-text提示音频的上下文与韵律接续一段已有音频语气自然衔接 终极克隆三者全给参考音色 提示上下文相似度最高、衔接最自然的克隆在源码中这三类输入分别映射为generate()的reference_wav_path、prompt_wav_path与prompt_text三个参数参数组装逻辑见 inference.py。四、续写模式详解提示音频与提示文本如何衔接4.1 需要准备什么提示音频--prompt-wav一段已有语音作为上文提示文本--prompt-text提示音频的逐字转写用于对齐语义待合成文本--text需要续写出来的新内容。⚠️ 注意--prompt-wav与--prompt-text必须成对出现才会生效只给音频不给文本时提示音频会被忽略见 inference.py。4.2 续写模式命令示例./venv/bin/python inference.py \ --text 现在开始续写这一段音频内容。 \ --prompt-wav /path/to/prompt.wav \ --prompt-text 提示音频对应的转写文本4.3 无缝衔接的原理提示音频先经 AudioVAE 编码为声学特征与提示文本一起构成生成上下文模型从这段上下文的结尾处继续自回归生成新文本的声学 token。因此续写出的语音在音色、语速、语调上会自然延续提示音频而不是另起炉灶。这正是 TTS 续写模式区别于普通克隆的关键它继承的不只是音色还有整段上下文。五、终极克隆模式详解参考人声 续写双管齐下终极克隆模式把前两种能力叠加--ref-wav参考人声提供说话人的音色先验决定像谁--prompt-wav--prompt-text提示音频 提示文本提供即时上下文决定从哪个状态接着说。./venv/bin/python inference.py \ --text 这是终极克隆模式的测试。 \ --ref-wav /path/to/speaker.wav \ --prompt-wav /path/to/prompt.wav \ --prompt-text 提示音频对应的转写文本类比参考人声相当于照镜子学腔调提示音频相当于接上同一句话。两者结合后模型既锁定目标音色又保持上下文连贯克隆效果最接近真人对话。六、参考音频准备要点 格式要求参考人声与提示音频都应为16 kHz 单声道.wav见 README.md转写要对得上--prompt-text必须是提示音频真实内容的转写否则语义错位会影响衔接参考人声要干净单人、少噪音的录音克隆相似度更高项目内置套件会把 case01 的合成输出重采样为 16 kHz 作为参考人声 output/suite/ref_16k.wav可直接参考其生成方式inference.py。七、实测结果克隆 / 续写 / 终极克隆全部通过 ✅内置测试套件中三个模式各有一组用例在单卡 Ascend 910B、bf16 精度下全部通过数据取自 output/suite/suite.json用例模式输出时长推理耗时峰值显存状态case24_clone参考人声克隆3.36 s3.09 s6329 MB✅ PASScase25_continue续写模式3.68 s3.35 s6329 MB✅ PASScase26_ultimate终极克隆参考续写2.08 s1.85 s6329 MB✅ PASS可见加入参考音频后推理耗时与纯文本用例基本持平2~6 s 量级显存占用稳定在约 6.3 GB单卡 64 GB HBM 绰绰有余。八、常见问题Q1续写模式只给--prompt-wav可以吗不建议。只有--prompt-wav而没有--prompt-text时提示音频不会被使用等价于普通文本合成。Q2终极克隆的三个参数可以随意组合吗--ref-wav可单独使用纯克隆--prompt-wav必须搭配--prompt-text三者同时给出即为终极克隆模式。Q3输出的采样率是多少固定 48 kHz。AudioVAE V2 会将 16 kHz 输入超分到 48 kHz 输出所以参考音频用 16 kHz 即可输出仍为高清语音。Q4如何复现同一次结果加--seed固定随机种子后同输入可复现见 README.md。九、文件资料索引推理脚本含全部参数定义与 NPU 补丁inference.py克隆 / 续写命令官方示例README.md30 用例测试结果与指标output/suite/suite.json套件用例定义含 case24/25/26inference.py依赖清单国内镜像安装说明requirements.txt 想快速体验先跑通./venv/bin/python inference.py --help查看参数再用本文 4.2 节命令试一次续写即可感受提示音频无缝衔接的效果。赞分享人工智能大模型语音音频Ascend【免费下载链接】VoxCPM2-NPU项目地址https://ai.gitcode.com/z_studio/VoxCPM2-NPU点击查看免费下载相关推荐如何用VoxCPM2-NPU三步克隆他人声音基于16kHz参考人声的语音克隆详解如何用VoxCPM2 NPU三步克隆他人声音基于16kHz参考人声的语音克隆详解 VoxCPM2 NPU 是 OpenBMB 开源 VoxCPM2 语音合成模人工智能大模型语音音频AscendVoxCPM2-NPU命令行参数全清单从文本转语音、声音克隆到流式合成的19个推理参数详解VoxCPM2 NPU命令行参数全清单从文本转语音、声音克隆到流式合成的19个推理参数详解 VoxCPM2 NPU 是 OpenBMB VoxCPM2免分词人工智能大模型语音音频Ascend如何用TADA做零样本声音克隆参考音频选择、提示词技巧与Prompt缓存实战指南如何用TADA做零样本声音克隆参考音频选择、提示词技巧与Prompt缓存实战指南 TADA 是 Hume AI 开源的语音语言模型Speech Langua创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考