首页/新闻资讯/正文详情

语音交互 4 - 语音识别(ASR)

发布时间:2026/11/3 5:20:03 来源:云帆数科 栏目:资讯中心
语音交互 4 - 语音识别(ASR)
目录一、ASR 技术演进全景二、ASR 的本质:从波形到文字的序列映射三、经典时代:HMM-GMM 与 DNN-HMM3.1 HMM-GMM:统治了 30 年的基线3.2 DNN-HMM:深度学习的首次介入四、端到端 ASR 的三大流派4.1 CTC(Connectionist Temporal Classification)4.2 RNN-Transducer(RNN-T)4.3 Attention-based Encoder-Decoder(AED)五、Conformer:当前 ASR 的主流编码器六、大模型时代的 ASR 范式6.1 自监督预训练6.2 弱监督大规模预训练6.3 大语言模型 + ASR 的融合七、ASR 的核心评价指标7.1 准确率指标7.2 实时率与延迟八、工程实践建议九、总结一、ASR 技术演进全景ASR 的技术演进大致可分为三个阶段:(1)经典统计时代:HMM-GMM 主导,依赖专家知识和强制对齐(2)深度学习介入:DNN-HMM 混合系统,用神经网络替换 GMM(3)端到端时代:CTC、RNN-T、AED 三大流派,再到自监督预训练和大模型融合二、ASR 的本质:从波形到文字的序列映射语音识别(Automatic Speech Recognition, ASR)要解决的核心问题可以形式化地表述为:给定一段音频特征序列X= (x₁, x₂, ..., x_T),找到最可能的文字序列W*:W* = argmax_W P(W|X)这个看似简洁的概率公式背后,经历了从统计模型到深度神经网络,再到端到端系统的三次范式转移。本文将带你完整走过这段进化之路。三、经典时代:HMM-GMM 与 DNN-HMM3.1 HMM-GMM:统治了 30 年的基线在深度学习出现之前,ASR 的主流框架是 HMM-GMM(隐马尔可夫模型 + 高斯混合模型):HMM 的三个经典问题:问题含义算法评估给定模型和观测,计算概率前向-后向算法解码给定模型和观测,找最可能的状态序列Viterbi 算法学习给定观测序列,估计模型参数Baum-Welch(EM)算法HMM-GMM 的问题:GMM 对高维非线性数据的建模能力有限需要 HMM 状态与语音帧之间的强制对齐(Forced Alignment),依赖专家标注上下文相关音素(Triphone)导致状态空间爆炸决策树状态聚类(State Tying)虽然缓解了数据稀疏,但限制了模型容量3.2 DNN-HMM:深度学习的首次介入2011-2012 年,DNN 开始替换 GMM,形成 DNN-HMM 混合系统。核心变化是:用 DNN 直接预测每个 HMM 状态的后验概率 P(s_t |x_t),而非 GMM 的似然建模。相比 GMM 的优势:DNN 能利用长达 11-21 帧的上下文窗口,建模能力远超 GMM不需要对特征分布做对角协方差假设在相同数据量下,WER 相对 GMM 降低 20-30%代表模型:TDNN(时延神经网络):通过一维卷积沿时间轴捕获上下文,是最早用于 ASR 的深度模型之一LSTM(长短期记忆网络):解决了长序列梯度消失问题,显著提升了远距离上下文建模能力TDNN-F(因子化 TDNN):Kaldi 中的主力声学模型,通过矩阵分解大幅减少参数量四、端到端 ASR 的三大流派端到端 ASR 的核心思想是:不再需要 HMM、发音词典、强制对齐,用一个神经网络直接从音频映射到文字。先介绍一个将这些流派落地到工业场景的工具包——FunASR。它由阿里达摩院开源,定位是“基础端到端语音识别工具包”,集成了多种模型架构和完整的服务部署能力。FunASR 的核心价值在于:它不是一个单一模型,而是一套可组合的端到端流水线。以实时语音听写场景为例,一个典型的 FunASR 服务链路包含多个协同工作的模块这种设计的核心思路是:流式模型负责“快”,非流式模型负责“准”。流式 Paraformer 每 600ms 输出一次中间结果,保证实时性;当检测到说话停顿(VAD 判定句尾)时,切换到非流式 Paraformer 对整句做一次高精度推理,用更准的结果修正之前的流式输出。这种“实时+修正”的两遍策略,在延迟和准确率之间取得了很好的平衡。

相关推荐

让模型当裁判之前先校准它:LLM-as-a-Judge 的偏差谱系与可信评测方法
让模型当裁判之前先校准它:LLM-as-a-Judge 的偏差谱系与可信评测方法

让模型当裁判之前先校准它:LLM-as-a-Judge 的偏差谱系与可信评测方法 「用 GPT 打个分」现在几乎是 RAG / Agent 回归评测绕不开的一环,但默认状态的 judge 是个带着系统误差的测量仪器:换一下 A/B 顺序胜负就翻盘,更长的回答天然… · 2026/11/1 1:46:21

第五周工作纪要
第五周工作纪要

工作内容:通过测试EKT-YMCC8405AAAVUCL-HT16C23(I2C)、YMMO0216AAAAUGN-ST7567(ISP,8080)、YMC128128-96AAAFDGL(UART)、YMC9284-01AAANUGN(4SPI)各类产品&am… · 2026/11/1 1:45:21

2026 安徽合肥半导体产业博览会观展指南(5月18日-20日)
2026 安徽合肥半导体产业博览会观展指南(5月18日-20日)

芯聚滨湖 赴约产业盛会|2026中国(安徽)半导体产业展览会 集成电路是数字经济时代的核心基石,也是培育新质生产力、推动高端制造自主可控的关键赛道。依托合肥“芯屏汽合”特色产业集群优势,中部半导体产业迎来持续快速… · 2026/11/1 1:45:21

Git与GDB协同开发:从基础配置到高级调试技巧
Git与GDB协同开发:从基础配置到高级调试技巧

1. Git与GDB基础概念解析"11.git_gbd"这个看似简单的文件名,实际上暗含了两个开发者日常使用的重要工具组合:Git版本控制系统和GDB调试器。这种命名方式在开发社区中很常见,通常表示某个与Git和GDB相关的配置文件、脚本或项目文档。… · 2026/11/3 5:19:58

iSecure Center安防平台配置实战:从区域组织到门禁视频联动避坑指南
iSecure Center安防平台配置实战:从区域组织到门禁视频联动避坑指南

简介:这份PDF文档是海康威视iSecure Center综合安防管理平台V2.0.0的官方配置手册,面向安防系统集成商、运维工程师及平台管理员,用于解决视频监控、停车场、门禁、报警检测等多子系统接入与联动配置中的实操问题。资源包内仅含1个PDF文件&am… · 2026/11/3 5:19:58

Paperclip:轻量级 Node.js + React AI Agent 框架实战指南
Paperclip:轻量级 Node.js + React AI Agent 框架实战指南

1. 项目概述:Paperclip 不是回形针,而是一个轻量级 AI Agent 框架你搜“paperclip”时,第一反应可能是办公桌抽屉里那枚银色小金属件——但最近半年,在 Node.js 和 React 开发者圈子里,“Paperclip”正悄悄成为高频词。… · 2026/11/3 5:19:58

Paperclip:面向本地AI应用的React+Node.js轻量运行时
Paperclip:面向本地AI应用的React+Node.js轻量运行时

1. 项目概述:Paperclip 是什么,它解决的不是“又一个前端框架”问题Paperclip 这个名字乍一听容易让人联想到 Office 里的回形针图标,或者某个 UI 组件库——但实际在当前技术语境下,它指向的是一个正在快速演进的、面向 AI 原生应… · 2026/11/3 5:19:58

TeXstudio高效科研写作指南:LaTeX环境配置与实战技巧
TeXstudio高效科研写作指南:LaTeX环境配置与实战技巧

1. 为什么科研工作者需要TeXstudio作为一名在学术圈摸爬滚打多年的研究者,我深刻理解论文排版带来的痛苦。记得刚开始写第一篇SCI论文时,整整两周时间都浪费在调整格式上——参考文献编号错乱、公式编号不连续、图表位置飘忽不定。直到实验室师兄推荐了L… · 2026/11/3 5:19:58

REA逆向梳理:用Agent还原登录、存储与更新流程
REA逆向梳理:用Agent还原登录、存储与更新流程

上个月接手一个交接了三轮的自研客户端项目,代码库能跑,文档停在两年前,登录模块里最醒目的一行注释是“这里别动,动了会炸”。这种项目没法靠读文档上手,只能靠人肉顺着调用链往上爬。我当时的做法是把整件事拆成三条… · 2026/11/3 5:18:58

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/2 13:10:28

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/2 4:42:45

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/2 5:17:18

STM32F411RE与MAX14431实现SPI隔离:工业现场抗共模干扰实战
STM32F411RE与MAX14431实现SPI隔离:工业现场抗共模干扰实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 1:01:59

ESP32+大模型AI硬件开发:从Demo到产品的8个工程问题
ESP32+大模型AI硬件开发:从Demo到产品的8个工程问题

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 1:01:59

基于MAX14431BAEE+与PIC18F85J10的SPI隔离方案设计与实践
基于MAX14431BAEE+与PIC18F85J10的SPI隔离方案设计与实践

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 1:01:59

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/2 13:10:28

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/2 4:42:45

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/2 5:17:18

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码