人工智能大模型多模态语音音频本地部署【免费下载链接】LFM3-Audio-2B项目地址https://ai.gitcode.com/hf_mirrors/LiquidAI/LFM3-Audio-2B点击查看免费下载LFM3-Audio-2B 是 Liquid AI 推出的 20 亿参数全模态语音大模型可以在笔记本电脑和边缘设备上本地运行支持语音提问、文本与语音交错的流式回答Voice Chat以及多语言语音合成、转写和工具调用。本文面向新手带你从安装环境到跑通第一次语音对话完整走一遍 Voice Chat 实践流程并解释文本语音交错输出背后的原理与关键参数。一、LFM3-Audio-2B 是什么本地可跑的语音对话大模型LFM3-Audio-2B 可以理解为小而全的语音助手底座项目说明参数量2B可在笔记本本地运行输入文本或音频16 kHz 采样率输出文本、24 kHz 语音或文本语音交错上下文长度32K tokens流式能力因果音频编码 增量 prefill首 token 延迟可低至 50 ms语音语言中、英美/英、日、韩、法、德、西等 19 种语言/地区架构LFM3 backbone 因果音频编码器 LiquidCodec 语音分词器相比同类模型它在语音合成质量UTMOSv2 3.83、多语言转写FLEURS 平均错误率 6.03和口语指令遵循VoiceBench 73.13上都位居第一梯队详细数据见 README.md。二、为什么 Voice Chat 值得做三种回答模式怎么选LFM3-Audio-2B 对同一个语音提问支持三种回答方式通过系统提示词 生成参数切换️Voice Chat本文主角系统提示词Respond with interleaved text and audio.模型以对话风格同时输出文本和语音纯文本回答预填think先推理再回答或think/think直接回答并设置suppress_mixedTrue, suppress_audio_outTrue️纯语音合成TTS系统提示词Perform TTS in 语言 using a voice voice.。模式系统提示词关键参数交错语音对话Respond with interleaved text and audio.audio_temperature1.0, audio_top_k128, audio_repetition_penalty1.1纯文本不需要或用Perform ASR.等suppress_mixedTrue, suppress_audio_outTrueTTSPerform TTS in ...同交错模式的音频采样参数三、运行环境与模型准备最快安装步骤1. 一键安装依赖GPU 推理pip install transformers5.20.2 torch accelerate librosa soundfile模型采用trust_remote_code方式加载自定义代码推理框架源码在 modeling_lfm3_audio.py处理器在 processing_lfm3_audio.py音频特征提取在 feature_extraction_lfm3_audio.py。2. 按硬件选择模型变体硬件方案适用框架GPUBF16 权重即本仓库vLLM / SGLang / TransformersCPU / GPUGGUF 量化llama.cppApple SiliconMLX 4-bitMLX-VLM跨平台ONNXONNX Runtime 提示LiquidCodec 解码速度约为单 CPU 线程Apple M4 Max87 倍实时所以即便没有 GPU语音播放边生成也完全可行。四、Voice Chat 实践从语音提问到文本语音交错回答以下示例假设你已经有一段英语语音文件question.wav换成你自己的即可。第 1 步加载模型与处理器import torch, soundfile as sf from transformers import AutoModelForMultimodalLM, AutoProcessor model_id LiquidAI/LFM3-Audio-2B device cuda if torch.cuda.is_available() else cpu dtype torch.bfloat16 if device cuda else torch.float32 model AutoModelForMultimodalLM.from_pretrained( model_id, dtypedtype, device_mapdevice, trust_remote_codeTrue ).eval() processor AutoProcessor.from_pretrained(model_id, trust_remote_codeTrue) codec processor.audio_tokenizer.to(devicedevice).eval() # 权重来自 audio_tokenizer/这里codec就是 LiquidCodec 语音解码器源码见 modeling_liquid_codec.py其权重位于 audio_tokenizer/ 目录。第 2 步构造语音提问 交错回答的对话Voice Chat 有两个关键约定系统提示词用Respond with interleaved text and audio.assistant 轮预填特殊标记|mixed_start|告诉模型这次要输出混合模态。conversation [ {role: system, content: Respond with interleaved text and audio.}, {role: user, content: [{type: audio, audio: question.wav}]}, {role: assistant, content: |mixed_start|}, ] inputs processor.apply_chat_template( conversation, continue_final_messageTrue, tokenizeTrue, return_dictTrue, return_tensorspt, ).to(device)对话模板的细节可以查看 chat_template.jinja模型结构配置见 config.json如codebooks12、interleaved_n_audio12等交错生成参数。第 3 步生成并保存文本 24 kHz 语音双通道回复with torch.no_grad(): outputs model.generate( **inputs, max_new_tokens1024, audio_temperature1.0, audio_top_k128, audio_repetition_penalty1.1, audio_repetition_window4096, return_dict_in_generateTrue, ) text processor.decode( outputs.sequences[0, inputs[input_ids].shape[1]:], skip_special_tokensTrue, ) waveform codec.decode( outputs.audio_codes[:1, :, :outputs.audio_lengths[0]] ).audio_values[0] # 24 kHz print(text) sf.write(reply.wav, waveform.float().cpu().numpy(), 24_000)运行后你会得到一份文本text和一份reply.wav——这就是文本语音交错的完整回答。五、交错输出是怎么做到的看懂架构图整条链路分三段理解输入侧音频先做 128 维 log-mel 特征16 kHz参数见 feature_extraction_lfm3_audio.py再进入因果音频编码器。编码器采用滑动窗口注意力 短卷积内存占用有界且完全因果——你说话时它就在预填充所以说完后几乎不用等待骨干侧LFM3 backbone24 层、hidden 2048配置见 configuration_lfm3_audio.py同时生成文本 token 和语音 token并按interleaved_n_text6 / interleaved_n_audio12的节奏交错排布输出侧LiquidCodec 用 12 个离散 token 表示 80 ms 语音并支持流式增量解码——边生成边出声对话保持跟手。六、关键参数与常见配置清单参数推荐值作用audio_temperature1.0语音 token 采样温度audio_top_k128语音采样候选数audio_repetition_penalty/window1.1 / 4096抑制语音复读suppress_mixed/suppress_audio_out纯文本输出时设 True强制只出文本streamer/audio_streamer可选分别流式接收文本 token 与语音帧做实时应用时必配⚠️ 常见坑语音发飘/重复→ 检查是否漏了audio_repetition_penalty和audio_repetition_window想要纯文本却混出语音→ 记得加suppress_mixedTrue, suppress_audio_outTrue推理没结束就截断→ 纯文本思考模式下增大max_new_tokens输出中要有/think才算结束。七、进阶玩法让语音对话更好用先推理再回答assistant 轮预填think可拿到带思考过程的文本回答Voice Chat 目前支持英语语音工具调用系统提示词Respond with function calls, and interleaved text and audio.模型会把把音量调到 30转成set_volume(30)这样的 tool call可与文本、语音同时返回⚡实时转写LiveASRmodel.transcribe_live()按约 0.96 s 分块边说边出字适合字幕与听写场景多语言翻译系统提示词指定源语言和目标语言即可语音转文本翻译18 种语言互译中英语表现最好。这些示例的完整代码都在 README.md 的 Usage examples 小节。八、常见问题 FAQQ1没有 GPU 能跑吗可以。选择 GGUF 变体走 llama.cpp或 ONNX Runtime 跨平台推理2B 体量在 CPU 上也可用只是速度较慢。Q2Voice Chat 支持哪些语言目前 Voice Chat 模式支持英语多语言能力体现在语音转写、合成与翻译中、日、韩、法、德、西、阿、土等 19 种语言/地区。Q3能做复杂多步推理吗官方定位是本地 Agent、工具调用、结构化输出与领域微调不推荐用于 agentic coding 或复杂多步推理。Q4许可证允许商用吗模型采用 LICENSE 中的 LFM Open License v1.0商用前请自行阅读条款。九、相关文件速查文件说明modeling_lfm3_audio.py模型主体音频编码 交错生成modeling_liquid_codec.pyLiquidCodec 语音分词/解码processing_lfm3_audio.py对话模板与多模态输入处理feature_extraction_lfm3_audio.py16 kHz log-mel 特征提取config.json模型结构参数codebooks、交错节奏等chat_template.jinja对话模板定义audio_tokenizer/LiquidCodec 权重按上面的三步走下来你就拥有了一个可以听你说话、边打字边说话回答你的本地语音助手。下一步建议把streamer与audio_streamer接上麦克风与扬声器体验 50 ms 首响的实时 Voice Chat 赞分享人工智能大模型多模态语音音频本地部署【免费下载链接】LFM3-Audio-2B项目地址https://ai.gitcode.com/hf_mirrors/LiquidAI/LFM3-Audio-2B点击查看免费下载相关推荐5个理由让你立即尝试FSearchLinux极速文件搜索终极方案5个理由让你立即尝试FSearchLinux极速文件搜索终极方案 你是否厌倦了在Linux系统中等待 find 命令慢慢扫描成千上万的文件是否渴望拥有像Wi桌面应用搜索引擎mMiniLM-L6-v2-mmarco-v2常见问题解答解决你的模型使用难题mMiniLM L6 v2 mmarco v2常见问题解答解决你的模型使用难题 mMiniLM L6 v2 mmarco v2是一款基于XLMRoberta架SQLCoder数据集构建10种schema设计案例SQLCoder数据集构建10种schema设计案例 SQLCoder是一款强大的AI SQL生成工具能够帮助开发者和数据分析师快速生成准确的SQL查询。构创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
企业数字化 ERP 产品动态
相关推荐
【一键下载】到梦空间自动报名脚本:活动放票那一刻,让 Python 替你按下报名 【一键下载】到梦空间自动报名脚本:活动放票那一刻,让 Python 替你按下报名 【免费下载链接】到梦空间自动报名脚本 到梦空间自动报名脚本是一款基于Python开发的实用工具,旨在帮助用户自动完成到梦空间活动的报名流程。脚本支持后台运行&… · 2026/11/15 17:12:11
【独家整理】Node.js v16.16.0 安装包下载教程:三步完成安装与验证 【独家整理】Node.js v16.16.0 安装包下载教程:三步完成安装与验证 【免费下载链接】Node.jsv16.16.0安装包 Node.js(v16.16.0) 安装包欢迎来到Node.js v16.16.0版本的下载资源页面 项目地址: https://gitcode.com/open-source-toolkit/adb88
Node.js v16.16… · 2026/11/16 22:19:22
Java绿色农产品销售与配送系统毕设源码解析:数据库设计与配送调度实现 简介:本资源为基于Java的绿色农产品销售与配送系统毕业设计源码包,面向计算机相关专业的在校学生、教师及企业开发者,可用于毕业设计、课程设计、课程大作业或项目初期立项演示。压缩包共199个文件,约5.74MB,包含49个j… · 2026/11/7 20:05:10
电工证有必要刷卡吗?多久拿证才能上岗? 电工证有必要刷卡吗?多久拿证才能上岗? 你是不是也遇到过这种情况:手里攥着一份电工证,却不知道在施工项目中到底能干啥?更别说现在有些地方要求“刷卡上岗”,搞得你一头雾水, 不知道去哪报名怕被中介坑 ,还担心 多久拿证… · 2026/11/16 23:01:19
濮阳县电工证免费培训内部消息,怕考不过白交培训费?看完这篇就够了 濮阳县电工证免费培训内部消息,怕考不过白交培训费?看完这篇就够了 你是不是正在为濮阳县电工证免费培训发愁?怕考不过白交培训费?别急,这篇内容里有你最关心的内部消息,能帮你避开坑,顺利拿到证书。 为什么濮阳县电工证免费培训这么火?… · 2026/11/16 23:01:19
你别被中介忽悠了,【比较简单电工证】保姆级教程来了,看完少走10年弯路 你别被中介忽悠了,【比较简单电工证】保姆级教程来了,看完少走10年弯路 不知道去哪报名怕被中介坑?别急,这篇文章就是为你量身定做的【比较简单电工证】保姆级教程。我从业十多年,见过太多人被黑中介骗钱、被假证耽误前程,今天我来手把手教你怎么搞到… · 2026/11/16 23:01:19
韩城电工证报考方法官方报名入口全攻略,外省证怎么转过来? 韩城电工证报考方法官方报名入口全攻略,外省证怎么转过来? 之前考的证在外省能不能转过来?我理解你的担心,很多人在外地打工、考试,回来后却发现证书不被认可,甚至被要求重新报考。今天我就用一个 韩城电工证报考方法 的真实案例,带你理清怎么在… · 2026/11/16 23:01:19
电工证现在有发卡片吗?良心建议:别让证书过期了不知道怎么复审延期 电工证现在有发卡片吗?良心建议:别让证书过期了不知道怎么复审延期 证书过期了不知道怎么复审延期?别慌,你不是一个人在战斗。不少电工朋友在工作过程中都遇到过类似的困扰,尤其是像你这样在安阳干建筑的工人,经常在工地跑来跑去,一不留神就错过了复审… · 2026/11/16 23:01:19
加拿大电工证在哪拿值不值得考 加拿大电工证在哪拿值不值得考 实操考试心里没底怕挂科?别急,今天就带你一文搞懂加拿大电工证在哪拿,以及值不值得考。作为常年接触电工证报考、考试、复审的从业者,我深知大家的焦虑,尤其是在实操环节,很多人都因为不熟悉流程或准备不到位而失利。下面… · 2026/11/16 23:00:19
长春初级电工证怎么考?通过率揭秘全在这里 长春初级电工证怎么考?通过率揭秘全在这里 之前考的证在外省能不能转过来?这几乎是每个想从事电工工作的人都会问的问题。特别是那些在外地打拼多年、手里握着一张“外地电工证”的人,到了长春想继续干这一行,第一反应就是“我的证能用吗?”。今天我们就… · 2026/11/16 3:21:55
国内电工证报考条件与考试时间 低压电工证怎么考?学历不高也能报名,官方报名入口全在这 你是不是经常听说“电工证是入行门槛”,但又担心自己学历不够、经验不足,根本报不了名?别急,今天就带你从零了解【国内电工证】的报考流程、考试内容,还有怎么在 官方报名入口… · 2026/11/16 3:01:18
电工作业时如何断电?电子证书到底能不能全国通用? 电工作业时如何断电?电子证书到底能不能全国通用? 实操考试心里没底怕挂科,特别是电工作业时如何断电这一操作,不仅关系到你能不能拿到证书,更关系到以后能不能顺利上岗。很多人觉得这不过就是“断个电”,但其实这里面的门道可不少,稍有不慎就可能出错… · 2026/11/16 8:30:17
电工证培训的通知在哪考?别再被中介骗了 电工证培训的通知在哪考?别再被中介骗了 你是不是还在为 电工证培训的通知在哪考 发愁?网上搜了一堆信息,结果要么是挂羊头卖狗肉的培训机构,要么就是打着“包过”旗号的骗子?别急,今天我来给你讲讲, 电工证培训的通知… · 2026/11/16 0:00:34
电工证去哪个部门考核值不值得考 信阳转岗人真实经历分享 电工证去哪个部门考核值不值得考 信阳转岗人真实经历分享 怕考不过白交培训费?你不是一个人,信阳的李师傅去年刚转岗做电工,就因为没搞清楚电工证去哪个部门考核,差点交了8000块的培训费。别急,下面这份实操考试全攻略,告诉你电工证到底值不值得考… · 2026/11/16 0:00:34
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/16 16:48:43
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/16 16:48:57
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/16 16:48:48