VCClient 实时语音变声五层管线如何压进 50ms 延迟【免费下载链接】voice-changerリアルタイムボイスチェンジャー Realtime Voice Changer项目地址: https://gitcode.com/gh_mirrors/vo/voice-changer 真声不能出麦的场景你在游戏里不想暴露真声直播需要一个稳定的角色声线VCClient 做实时语音变声麦克风话音流经 AI 模型推理几十毫秒后从声卡出来的是目标角色的声音。它不做离线批处理只服务边说边变的场景游戏开黑、直播、语音聊天延迟和稳定性要求直接写进了源码。它同时支持 RVC、Beatrice、MMVC、so-vits-svc、DDSP-SVC 等多类模型也允许把推理整体卸载到远程服务器本机只留采集与播放。⚡ 五步跑起来这是最精简的 VCClient 部署路径。环境要求一句话Python 3.10 PyTorchLinux/WSL2 从源码运行Windows 与 M1 Mac 有现成二进制可下载。git clone https://gitcode.com/gh_mirrors/vo/voice-changer cd voice-changer conda create -n vc python3.10 conda activate vc cd server pip install -r requirements.txt python3 MMVCServerSIO.py -p 18888 --model_dir model_dir克隆仓库命令如上。装完依赖启动 server/MMVCServerSIO.py首次运行会自动下载预训练权重和样例模型。按控制台提示在浏览器仅 Chrome打开客户端 URL或直接用自带 Python 客户端python client/python/vc_client.py --input 0 --output 1 --to 0。在界面里选中模型槽、点 start对着麦克风说话。首次预期结果权重下载完成后浏览器出现客户端界面扬声器播出换过音色的声音界面上能看到 vol/buff/res 三项延迟读数。架构鸟瞰谁推理谁传输整体是一个服务端 可替换的模型层 两层协议。入口 server/MMVCServerSIO.py 用 uvicorn 把 FastAPIREST和 Socket.IO 挂在同一端口上。音频进来后VoiceChangerManager按模型槽类型分发v2 引擎负责 RVC、Beatrice、LLVC、EasyVC、DiffusionSVCv1 引擎负责 MMVCv13/v15、so-vits-svc-40、DDSP-SVC。双引擎共存这正是新旧版本能同时启动的原因。每种模型一个目录全部在 server/voice_changer/ 下前端 demo 在 client/demo/参考客户端在 client/python/vc_client.py语料录音工具独立放在 recorder/。能力矩阵edition 与模型怎么选自 v2.2.1 起发行版edition决定能跑哪些模型。选错版本会直接缺功能先看这张表再下载能力维度选项适用场景限制说明AI 模型RVCv2 主线新功能快捷键、缓冲可视化基本只加给它AI 模型Beatrice v1 / v2v1 仅旧版 Windowsv2 全 editionv2 是当前主推线AI 模型MMVC / so-vits-svc / DDSP-SVC仅 v1 旧引擎不在 v2 路线上editionstd只用 Beatrice 的轻量场景全平台不含 RVCeditioncudaNVIDIA GPU 用户Beatrice RVCeditiononnx无 CUDAM1 Mac 等Beatrice RVCONNX Runtime 后端平台win / mac(M1) / linux / Colab二进制或源码Linux 需克隆源码运行三个选型判断先按模型定 edition。想用 RVC 就只可能是 cuda 或 onnx别下 std。cuda 与 onnx 差在推理后端不在功能。有 N 卡优先 cuda没有就上 onnx。新特性以 RVC 为主。快捷键与缓冲可视化都标注仅 RVC 可用用老模型前先对照支持矩阵。一条音频块的五段旅程RVC 推理管线以 RVC 为例一块 48kHz 的 int16 音频从进入 server/voice_changer/VoiceChangerV2.py 的on_request()到出声走五段。1. 分块与降级保护。on_request()先检查管线状态模型未加载、半精度切换中、f0 数据不足一律返回静音占位并记警告——实时流宁可出静音不能断。Beatrice 会设noCrossFade True跳过交叉淡化进一步压延迟。2. 重采样与滚动缓冲。server/voice_changer/RVC/RVCr2.py 的inference()用 resampykaiser_fast 滤波把音频降到 16kHz——这是 Hubert 与 rmvpe 的共同帧率。generate_input()维护 audio/pitchf/feature 三条滚动缓冲按 hop 160 对齐顺带算本块 RMS 音量低于silentThreshold直接出静音省掉一次推理。3. 特征与 f0 提取。server/voice_changer/RVC/pipeline/Pipeline.py 的exec()里extractFeatures()调 embedderHubert / ContentVec / Whisper抽内容特征extractPitch()调 f0 检测器默认 rmvpe_onnx抽基频。两者都在autocast下半精度执行。4. 检索RVC 的 R。若模型带 index 文件faiss 先reconstruct_n全量载入特征每块search最近邻后按indexRatio混合回原特征# Pipeline.exec() 中的检索混合 _, ix self.index.search(npy, 1) npy self.big_npy[ix.squeeze()] feats torch.from_numpy(npy).unsqueeze(0).to(self.device) * index_rate \ (1 - index_rate) * featsprotect 0.5时再混一层f0 为 0气声或静音的位置回退到检索前特征避免检索污染弱信号区。5. 合成与 SOLA 拼接。infer()出 48kHz 波形、转回 int16、重采样到输出率回到on_request()做跨块拼接。直接硬拼两块独立推理的音频相位不齐会出咔嗒声SOLA 的解法是滑窗互相关找最优偏移# VoiceChangerV2.on_request() 的 SOLA 核心 cor_nom np.convolve( audio[: crossfade_frame sola_search_frame], np.flip(self.sola_buffer), valid, ) cor_den np.sqrt(np.convolve( audio[: crossfade_frame sola_search_frame] ** 2, np.ones(crossfade_frame), valid, ) 1e-3) sola_offset int(np.argmax(cor_nom / cor_den))搜索窗约 12mssola_search_frame 0.012 * 采样率重叠区按余弦幂窗淡化注释写明思路源自 DDSP-SVC 与 RVC-WebUI。v2 相对 v1 还有两处结构改动重采样下放给模型自己setSamplingRate()上层不再无效地重算废除预处理/主处理分离省掉模型内部多余的数组类型转换。管线由 server/voice_changer/RVC/pipeline/PipelineGenerator.py 的createPipeline()组装设备、半精度、推理器、嵌入器、f0 提取器、index 一次配齐GPU 不支持 half 时抛异常上层自动回退 float 重建管线。协议与接入REST 与 Socket.IO 音频流服务端把 REST 和 Socket.IO 挂在同一端口任意语言都能接curl 也可以。REST /test端点POST /test实现在 server/restapi/MMVC_Rest_VoiceChanger.py。请求体两个字段timestampint你自己打的毫秒戳和buffer16-bit 小端 PCM 的 base64响应是timestampchangedVoiceBase64同样编码的变声结果。服务端用struct.unpack(%sh)解包推理全程持一把锁串行执行。import base64, json, urllib.request pcm open(in.wav.raw, rb).read() # 16-bit LE PCM body json.dumps({timestamp: 0, buffer: base64.b64encode(pcm).decode()}).encode() req urllib.request.Request( http://127.0.0.1:18888/test, body, {Content-Type: application/json}) out json.loads(urllib.request.urlopen(req).read()) open(out.wav.raw, wb).write(base64.b64decode(out[changedVoiceBase64]))Socket.IO 命名空间 /test实时推流走这里客户端emit(request_message, [毫秒时间戳, PCM 字节])服务端回response[timestamp, PCM 字节, perf 延迟列表]。服务端逻辑在 server/sio/MMVC_Namespace.py完整可跑的参考客户端在 client/python/vc_client.pysio socketio.Client(ssl_verifyFalse) sio.register_namespace(MyCustomNamespace(/test, out_stream, None)) sio.connect(url) while True: in_wav in_stream.read(BUFFER_SIZE, exception_on_overflowFalse) sio.emit(request_message, [time.time() * 1000, in_wav], namespace/test)回调里用time.time()*1000 - timestamp即可算出往返时延。参考客户端按 44100Hz、每块 2048210 字节推送它还有MockStream文件模式拿 wav 文件当输入输出不碰声卡也能验证协议。调参与调优RVC 的可调项集中在 server/voice_changer/RVC/RVCSettings.py交叉淡化参数在VoiceChangerV2Settings。参数默认值作用调优建议tran12音高平移半音0 为不变调按目标声线听感微调f0Detectorrmvpe_onnx基频检测器rmvpe_onnx 速度与精度均衡indexRatio0索引检索混合权重0.5 起步0 表示不用索引protect0.5弱 f0 区域保护阈值调低可压气声感silentThreshold0.00001静音判定阈值调高可跳过环境噪声extraConvertSize4096额外上下文帧数越大越稳延迟同步上涨crossFadeOverlapSize4096SOLA 重叠帧数追延迟时调低gpu-9999GPU 编号多卡时指定实战经验低延迟场景先降crossFadeOverlapSize用 Beatrice 则默认就跳过交叉淡化。indexRatio从 0.5 起、按 0.1 步长试太高会糊太低浪费 index。rvcQuality1会把上下文翻倍repeat 机制音色更连续但吃显存GPU 余量不足时别开。扩展与生态TTSClient同作者的实时 TTS 客户端文本转语音。ASRClient实时语音识别客户端三者拼起来是听—说—变的工具链。Beatrice V2 训练代码含 Colab 版自己训模型训完下载回 VCClient 使用。recorder/独立的语料录音与导出工具用于采集训练素材。docker/、docker_trainer/、docker_vcclient/服务端、训练、客户端三套容器化方案。合规与免责macOS 二进制未经 Apple 签名首次启动有安全警告按住 Control 点图标运行风险自负。内置角色音色素材如つくよみちゃん、あみたろ、黄琴まひろ各有使用条款例如禁止用于攻击性言论与政治立场宣扬或必须明示是变声、非本人发声。因使用或无法使用软件产生的任何损害开发者不承担责任。收束回到开头游戏里不暴露真声一个 std/cuda 版客户端加一个模型槽就够了直播多角色切换换槽即可。想把推理卸到另一台机器起一个服务端用 Socket.IO 音频流推过去。想彻底自定义server/voice_changer/RVC/ 的管线是模块化拼装换 embedder、换 f0 检测器只是查一下管理器的事。从开箱到二次开发这条路是通的。【免费下载链接】voice-changerリアルタイムボイスチェンジャー Realtime Voice Changer项目地址: https://gitcode.com/gh_mirrors/vo/voice-changer创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
企业数字化 ERP 产品动态
相关推荐
Pion WebRTC完全指南:纯Go实现WebRTC API的终极教程 Pion WebRTC完全指南:纯Go实现WebRTC API的终极教程
Pion WebRTC是一个使用纯Go语言实现的WebRTC API库,为开发者提供了在浏览器之外构建实时通信应用的强大工具。作为WebRTC技术的Go语言实现,Pion WebRTC让您能够在任何支持Go的平台&#x… · 2026/11/18 8:22:04
MATLAB实现MRMR与ReliefF特征选择方法详解与实战 简介:一套MATLAB实现的特征选择工具包,面向机器学习和数据挖掘学习者,解决高维数据中冗余特征筛选问题。内含MRMR与ReliefF两种经典算法:前者基于互信息最大化相关并最小化冗余,适合处理大规模特征集;后者通… · 2026/11/14 15:20:05
横琴电工证培训机构良心建议:避开中介坑,选对机构稳拿证 横琴电工证培训机构良心建议:避开中介坑,选对机构稳拿证 你是不是还在为不知道去哪报名横琴电工证犯愁?怕被那些中介坑了钱还拿不到证?今天我以一个从业多年的应急管理人员身份,从许昌培训机构学员的角度,给你最实在的建议,告诉你怎么在横琴电工证培训… · 2026/11/21 12:32:29
特种工延期换证考什么 外省证能全国通用吗 特种工延期换证考什么 外省证能全国通用吗 之前考的证在外省能不能转过来?这个问题,估计不少人在办证、换证时都问过。现在国家对特种作业证的管理越来越规范,特别是 特种工延期换证考什么 成了大家关注的重点。而且,现在拿到的证, 全国通用… · 2026/11/21 12:32:29
Q4特种工证过期了怎么复审?保姆级教程帮你解决 Q4特种工证过期了怎么复审?保姆级教程帮你解决 证书过期了不知道怎么复审延期,你不是一个人。很多特种作业人员在遇到证书即将到期时,常常感到手足无措,不知道该联系哪个部门,流程怎么走,材料需要准备哪些。如果你正面临这种情况,这篇文章就是你的… · 2026/11/21 12:32:29
苏州高级电工证报考官方回应:学历不高怕报不上名?真相来了 苏州高级电工证报考官方回应:学历不高怕报不上名?真相来了 你是不是也担心学历不高,报不了苏州高级电工证?官方回应来了,学历不是硬性门槛,但一定要注意报考条件和材料准备。苏州高级电工证报考正在成为越来越多蓝领工人的“通关卡”,但很多人因为信息… · 2026/11/21 12:32:29
双凤哪里可以考电工证 2026河南最新政策下学历不高也能考 双凤哪里可以考电工证 2026河南最新政策下学历不高也能考 学历不高怕报不上名?别担心,2026年河南最新政策已经明确,只要符合基本条件,哪怕是初中毕业,也能在双凤地区顺利报考电工证。随着国家对安全生产的重视,特种作业操作证的需求逐年上升,… · 2026/11/21 12:32:29
办电工证上哪办理上岗必须要这个证吗 电工证上哪办理?上岗必备的特种作业证怎么拿 你是不是正被“急需特种作业证才能上岗找工作”这个问题困扰?别急,今天就给你讲讲【办电工证上哪办理】的全攻略,特别是 上岗必备 的电工证到底怎么拿、在哪里办,别再走弯路了。… · 2026/11/21 12:31:29
长春初级电工证怎么考?通过率揭秘全在这里 长春初级电工证怎么考?通过率揭秘全在这里 之前考的证在外省能不能转过来?这几乎是每个想从事电工工作的人都会问的问题。特别是那些在外地打拼多年、手里握着一张“外地电工证”的人,到了长春想继续干这一行,第一反应就是“我的证能用吗?”。今天我们就… · 2026/11/20 16:18:19
国内电工证报考条件与考试时间 低压电工证怎么考?学历不高也能报名,官方报名入口全在这 你是不是经常听说“电工证是入行门槛”,但又担心自己学历不够、经验不足,根本报不了名?别急,今天就带你从零了解【国内电工证】的报考流程、考试内容,还有怎么在 官方报名入口… · 2026/11/20 18:25:07
电工作业时如何断电?电子证书到底能不能全国通用? 电工作业时如何断电?电子证书到底能不能全国通用? 实操考试心里没底怕挂科,特别是电工作业时如何断电这一操作,不仅关系到你能不能拿到证书,更关系到以后能不能顺利上岗。很多人觉得这不过就是“断个电”,但其实这里面的门道可不少,稍有不慎就可能出错… · 2026/11/20 17:56:32
电工证征求意见2026河南最新政策怎么应对?学历不高也能考! 电工证征求意见2026河南最新政策怎么应对?学历不高也能考! 你是不是也担心自己学历不高, 怕报不上名 ?尤其是像焦作水利工程这样的从业者,常年在一线作业,但证书却成了晋升、转岗、接项目的关键门槛。 2026河南最新政策… · 2026/11/21 0:00:17
电工证征求意见怎么填?含金量高不高?济源电工朋友看过来 电工证征求意见怎么填?含金量高不高?济源电工朋友看过来 不知道去哪报名怕被中介坑,电工证征求意见填错了不仅白费钱,还可能影响后续考试和工作。最近很多济源的电工朋友都在问: 电工证征求意见怎么填… · 2026/11/21 0:00:17
房建企业特种工考前押题怎么找?别让培训费打了水漂 房建企业特种工考前押题怎么找?别让培训费打了水漂 怕考不过白交培训费?房建企业特种工考试难度高、题型多,很多人报名后才发现没有合适的复习资料,最终考试落榜,白白浪费了时间和金钱。别担心,掌握【考前押题】的技巧,能让你事半功倍,顺利通过考试。… · 2026/11/21 0:00:17
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/20 10:25:45
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/20 10:25:54
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/20 10:26:03