首页/新闻资讯/正文详情

HMM(隐马尔可夫模型)用于 NER 时,其隐状态和观测状态分别对应什么?

发布时间:2026/11/19 4:00:33 来源:云帆数科 栏目:资讯中心
HMM(隐马尔可夫模型)用于 NER 时,其隐状态和观测状态分别对应什么?
HMM 用于 NER 时的隐状态与观测状态一、HMM 基本框架回顾HMM 是一个双重随机过程隐状态链: z₁ → z₂ → z₃ → ... → zₙ 马尔可夫转移不可直接观测 ↑ ↑ ↑ ↑ 观测序列: x₁ x₂ x₃ ... xₙ 由隐状态生成可观测两个核心假设马尔可夫假设当前隐状态只依赖前一个隐状态P(zt∣zt−1)P(z_t|z_{t-1})P(zt​∣zt−1​)观测独立假设当前观测只依赖当前隐状态P(xt∣zt)P(x_t|z_t)P(xt​∣zt​)二、NER 中的对应关系隐状态 实体标签序列隐状态是不可直接观测的、需要推断的目标对应每个词或字的 NER 标签。采用 BIO 编码方案时隐状态集合为隐状态含义B-PER人名起始I-PER人名内部B-ORG机构起始I-ORG机构内部B-LOC地名起始I-LOC地名内部O非实体若实体类别有 K 种隐状态数量 2K12K 12K1每个类别 B/I 各一个 O。观测状态 输入文本序列观测状态是可直接看到的输入对应句子中的每个词或字。具体示例观测序列(词): 苹果 公司 在 加州 成立 于 1976年 ↑ ↑ ↑ ↑ ↑ ↑ ↑ 隐状态(标签): B-ORG I-ORG O B-LOC O O B-DATEHMM 要素NER 对应说明隐状态ztz_tzt​第 t 个词的 NER 标签不可观测需推断观测xtx_txt​第 t 个词本身可直接观测的输入初始概率π\piπ句首词的标签分布句首更可能是 B-X 或 O不太可能是 I-X转移概率AAA标签间的转移概率如 B-ORG→I-ORG 概率高I-ORG→B-PER 概率低发射概率BBB给定标签时词的概率如 P(“公司”|I-ORG) 较高P(“公司”|B-LOC) 较低三、三个概率矩阵的具体含义1. 初始概率π\piππiP(z1si)\pi_i P(z_1 s_i)πi​P(z1​si​)句首位置的标签分布π(B-ORG) 0.15 句首常以机构名开头 π(B-PER) 0.10 句首常以人名开头 π(O) 0.60 句首最常见的是非实体词 π(I-ORG) 0.01 句首极少是实体内部词结构约束2. 转移概率AAAAijP(ztsj∣zt−1si)A_{ij} P(z_t s_j \mid z_{t-1} s_i)Aij​P(zt​sj​∣zt−1​si​)标签间的转移规律体现 BIO 结构约束前一标签 → 当前标签转移概率解释B-ORG → I-ORG高 (0.7)实体起始后通常跟内部词I-ORG → I-ORG中 (0.4)多词实体继续延伸I-ORG → O中 (0.3)实体结束转为非实体I-ORG → B-PER低 (0.05)实体结束后开始新实体O → I-ORG极低 (0.01)非实体不能直接跳到实体内部B-ORG → B-LOC低 (0.05)两个实体直接相邻较少转移概率天然编码了 BIO 标签的结构合法性约束这是 HMM 用于序列标注的优势。3. 发射概率BBBBi(w)P(xtw∣ztsi)B_i(w) P(x_t w \mid z_t s_i)Bi​(w)P(xt​w∣zt​si​)给定标签时观测到某词的概率P(公司 | I-ORG) 0.08 公司常出现在机构名内部 P(公司 | B-LOC) 0.001 公司极少作为地名起始 P(在 | O) 0.05 在是非实体高频词 P(苹果 | B-ORG) 0.03 苹果常作为机构名起始 P(苹果 | O) 0.01 苹果偶尔作为普通名词水果四、NER 推断过程给定观测序列句子HMM 通过Viterbi 算法求解最大后验概率的隐状态序列标签序列Y^arg⁡max⁡YP(Y∣X)arg⁡max⁡Y∏t1nP(xt∣yt)⋅P(yt∣yt−1)⋅π(y1)\hat{Y} \arg\max_Y P(Y|X) \arg\max_Y \prod_{t1}^{n} P(x_t|y_t) \cdot P(y_t|y_{t-1}) \cdot \pi(y_1)Y^argYmax​P(Y∣X)argYmax​t1∏n​P(xt​∣yt​)⋅P(yt​∣yt−1​)⋅π(y1​)Viterbi 动态规划递推δt(j)max⁡i[δt−1(i)⋅Aij]⋅Bj(xt)\delta_t(j) \max_i \left[ \delta_{t-1}(i) \cdot A_{ij} \right] \cdot B_j(x_t)δt​(j)imax​[δt−1​(i)⋅Aij​]⋅Bj​(xt​)位置: 1 2 3 4 观测: 苹果 公司 在 加州 ↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ Viterbi逐位计算最优路径: t1: δ(B-ORG) π(B-ORG) × B(B-ORG|苹果) ← 最优 t2: δ(I-ORG) δ(B-ORG) × A(B-ORG→I-ORG) × B(I-ORG|公司) ← 最优 t3: δ(O) δ(I-ORG) × A(I-ORG→O) × B(O|在) ← 最优 t4: δ(B-LOC) δ(O) × A(O→B-LOC) × B(B-LOC|加州) ← 最优 最优路径: B-ORG → I-ORG → O → B-LOC五、HMM 用于 NER 的局限性局限说明观测独立假设过强HMM 假设P(xt∣zt)P(x_t|z_t)P(xt​∣zt​)只依赖当前词无法利用上下文词信息。但 NER 中苹果是 ORG 还是 MISC取决于上下文“苹果发布财报” vs “吃了个苹果”生成模型方向反了HMM 建模P(x∣z)P(x|z)P(x∣z)标签生成词但实际任务是P(z∣x)P(z|x)P(z∣x)词推断标签生成式建模引入了不必要的建模负担特征利用受限难以融入丰富的重叠特征词缀、词性、词典匹配等而 CRF 等判别模型可灵活使用任意特征这些局限正是 CRF条件随机场和 BiLSTM-CRF 等方法取代 HMM 的原因CRF 直接建模P(Y∥X)P(Y\|X)P(Y∥X)且可利用丰富上下文特征BiLSTM-CRF 进一步用神经网络自动提取上下文表示。六、总结HMM 要素NER 对应隐状态NER 标签序列BIO 编码的实体标签观测状态输入词序列句子中的每个词初始概率句首标签分布转移概率标签间转移编码 BIO 结构约束发射概率给定标签时词的概率推断算法Viterbi 算法求最优标签路径HMM 将 NER 建模为隐标签序列生成可观测词序列的过程隐状态是需要推断的实体标签观测状态是可直接看到的输入文本。其核心局限在于观测独立假设无法利用上下文词信息这也是后续 CRF 和深度学习方法成为主流的根本原因。

相关推荐

Taotoken API密钥管理与审计日志功能在实际项目中的使用体会
Taotoken API密钥管理与审计日志功能在实际项目中的使用体会

Taotoken API密钥管理与审计日志功能在实际项目中的使用体会 1. 引言 在多人协作的技术项目中,如何安全、可控地管理大模型API的调用权限,并能在出现问题时快速定位,是项目管理员面临的实际挑战。过去,我们常常面临一个困境&… · 2026/11/18 17:29:10

【AI跨部门协作增效实战指南】:20年IT架构师亲授5大落地陷阱与3套可复用协同框架
【AI跨部门协作增效实战指南】:20年IT架构师亲授5大落地陷阱与3套可复用协同框架

更多请点击: https://codechina.net 第一章:AI跨部门协作增效的本质与战略价值 AI跨部门协作增效并非简单地将模型部署到多个业务线,而是通过统一的数据治理框架、共享的AI能力中台与可复用的服务接口,重构组织的知识流动路径与决… · 2026/11/17 14:21:01

虚拟机安装Linux:开发者首选环境搭建指南
虚拟机安装Linux:开发者首选环境搭建指南

1. 为什么选择虚拟机安装Linux?对于开发者、运维人员和技术爱好者来说,虚拟机是搭建Linux学习环境最安全便捷的方式。相比直接物理机安装,虚拟机方案有三大不可替代的优势:首先是不破坏现有系统。我见过太多新手在物理机安装时误操… · 2026/11/17 3:26:54

电力电缆上岗证价格通过率揭秘:学历不高怕报不上名?看这里
电力电缆上岗证价格通过率揭秘:学历不高怕报不上名?看这里

电力电缆上岗证价格通过率揭秘:学历不高怕报不上名?看这里 学历不高怕报不上名?其实你完全可以在 电力电缆上岗证价格 的门槛上,一步到位拿下资格。很多人以为只有高学历才能考特种作业证,但 国家安全生产考试网… · 2026/11/19 3:59:44

办高压电工证要多久有效期多久
办高压电工证要多久有效期多久

高压电工证怎么办要多久?保姆级教程帮你理清全流程 之前考的证在外省能不能转过来?很多人在办理高压电工证时都会遇到这个问题,尤其是那些已经在外地考取证书但计划回老家工作的朋友。别担心,今天这波保姆级教程就来帮你理清楚高压电工证的办理时长、流程… · 2026/11/19 3:59:44

外省电工证能转回来吗?含金量高的电工证职业资格证书怎么考
外省电工证能转回来吗?含金量高的电工证职业资格证书怎么考

外省电工证能转回来吗?含金量高的电工证职业资格证书怎么考 之前考的证在外省能不能转过来?这是很多正在准备考电工证的小伙伴最关心的问题之一。特别是在外省打工、求学或者工作的朋友,经常会遇到证书不通用、年审难办、政策不了解等情况。今天咱们就来聊… · 2026/11/19 3:59:44

金州区电工证在哪考通过率揭秘:新乡建筑工人实操指南
金州区电工证在哪考通过率揭秘:新乡建筑工人实操指南

金州区电工证在哪考通过率揭秘:新乡建筑工人实操指南 你不是在找电工证,你是在找饭碗。没有电工证,工地连门都进不去,更别说干电工这行了。特别是在金州区, 电工证… · 2026/11/19 3:59:44

电工证快速办理沈阳千万别踩坑的5个真实问题解答
电工证快速办理沈阳千万别踩坑的5个真实问题解答

电工证快速办理沈阳千万别踩坑的5个真实问题解答 你是不是刚到沈阳找工作,听说 电工证快速办理沈阳 是必须的?可网上信息太多,真假难辨, 千万别踩坑… · 2026/11/19 3:59:44

电工证复训省钱小技巧值不值得考?实操考试心里没底怕挂科
电工证复训省钱小技巧值不值得考?实操考试心里没底怕挂科

电工证复训省钱小技巧值不值得考?实操考试心里没底怕挂科 实操考试心里没底怕挂科?电工证复训省钱小技巧值不值得考?这是很多一线电工在面临复训时最头疼的问题。尤其是在当前行业监管趋严、安全生产标准不断提高的背景下,电工证复训不仅是法律要求,更是… · 2026/11/19 3:58:44

长春初级电工证怎么考?通过率揭秘全在这里
长春初级电工证怎么考?通过率揭秘全在这里

长春初级电工证怎么考?通过率揭秘全在这里 之前考的证在外省能不能转过来?这几乎是每个想从事电工工作的人都会问的问题。特别是那些在外地打拼多年、手里握着一张“外地电工证”的人,到了长春想继续干这一行,第一反应就是“我的证能用吗?”。今天我们就… · 2026/11/18 8:19:55

国内电工证报考条件与考试时间
国内电工证报考条件与考试时间

低压电工证怎么考?学历不高也能报名,官方报名入口全在这 你是不是经常听说“电工证是入行门槛”,但又担心自己学历不够、经验不足,根本报不了名?别急,今天就带你从零了解【国内电工证】的报考流程、考试内容,还有怎么在 官方报名入口… · 2026/11/18 8:19:53

电工作业时如何断电?电子证书到底能不能全国通用?
电工作业时如何断电?电子证书到底能不能全国通用?

电工作业时如何断电?电子证书到底能不能全国通用? 实操考试心里没底怕挂科,特别是电工作业时如何断电这一操作,不仅关系到你能不能拿到证书,更关系到以后能不能顺利上岗。很多人觉得这不过就是“断个电”,但其实这里面的门道可不少,稍有不慎就可能出错… · 2026/11/18 14:38:14

姑苏区哪里考电工证好考前押题怎么找
姑苏区哪里考电工证好考前押题怎么找

姑苏区哪里考电工证好考前押题怎么找 工地太忙根本没时间复习考试,电工证考前还总找不到靠谱的 考前押题 资源,真让人头疼。如果你也是在苏州姑苏区从事建筑或电力行业的,那这些建议你一定要看完。 为什么姑苏区考电工证的人这么多?… · 2026/11/19 0:00:12

罗定能考电工证吗?外省证转过来流程全解析+郑州报考避坑指南
罗定能考电工证吗?外省证转过来流程全解析+郑州报考避坑指南

罗定能考电工证吗?外省证转过来流程全解析+郑州报考避坑指南 之前考的证在外省能不能转过来?这几乎是每个特种作业证书持有者都会遇到的问题,特别是像你这样已经在外地工作多年,想回老家罗定发展或者重新规划职业路径的人。别急,今天就给你一条清晰的路… · 2026/11/19 0:00:12

罗定能考电工证吗 电工证含金量到底有多少?
罗定能考电工证吗 电工证含金量到底有多少?

罗定能考电工证吗 电工证含金量到底有多少? 之前考的证在外省能不能转过来,这几乎是每个准备考电工证的朋友最先想到的问题。特别是在罗定这样的地方,很多人的电工证都是在外地考的,现在想在当地继续使用,但不知道怎么办。实际上,电工证的 含金量… · 2026/11/19 0:00:12

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/17 21:47:42

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/17 21:47:42

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/19 0:22:38

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码