首页/新闻资讯/正文详情

深度学习基础——(4)自然语言处理基础

发布时间:2026/11/15 0:47:56 来源:云帆数科 栏目:资讯中心
深度学习基础——(4)自然语言处理基础
文章目录一、文本数据处理1.1 jieba分词1.2 索引化1.3 向量化1.2.2 Word2Vec1.2.3 nn.EmbeddingPyTorch 可训练嵌入1.2.4 GloVe 全局词向量1.2.5 ELMo上下文动态词向量三、循环神经网络3.1 RNN3.2 LSTM3.3 GRU3.4 Bi-RNN一、文本数据处理1.1 jieba分词1分句把长篇文本按句号、问号、感叹号切分成句子。英文按标点直接分割中文需考虑省略号、引号等特殊标点2分词难点是歧义分词、未登录词网络新词、人名、地名、专业术语英文天然以空格分隔只需简单分割中文无天然分隔符必须中文分词主流分词工具Jieba、THULAC、LTP、HanLP安装包pipinstalljiebaimportjiebaimporttorchimporttorch.nnasnn# 1. 原有的文本处理 text我非常喜欢学习自然语言处理技术它真的很有趣# 分词wordsjieba.lcut(text)# 去停用词stop_words{我,它,的,很,,}filtered_words[wforwinwordsifwnotinstop_words]# 去重保留顺序unique_wordslist(dict.fromkeys(filtered_words))print(分词结果,words)print(去停用词,filtered_words)print(去重后,unique_words)分词结果[我,非常,喜欢,学习,自然语言,处理,技术,,它,真的,很,有趣,]去停用词[非常,喜欢,学习,自然语言,处理,技术,真的,有趣]去重后[非常,喜欢,学习,自然语言,处理,技术,真的,有趣]1.2 索引化索引化主要是把词语映射成唯一数字编号构建word_to_ix 字典让词语变成模型能处理的数字序列。# 2. 构建词 → 索引字典 word_to_ix{word:ifori,wordinenumerate(unique_words)}vocab_sizelen(word_to_ix)# 词汇表大小print(词汇表,word_to_ix)词汇表{非常:0,喜欢:1,学习:2,自然语言:3,处理:4,技术:5,真的:6,有趣:7}1.3 向量化把数字序列转换成稠密向量是模型真正能理解的形式。方法特点One-hot最基础稀疏向量无语义信息现在基本不用Word2vec静态词向量一个词一个固定向量能捕捉基础语义nn.EmbeddingPyTorch 内置的可训练词嵌入层随模型一起学习更新GloVe全局词向量结合了 Word2vec 和矩阵分解的优点ELMO上下文相关的动态词向量同一个词不同语境向量不同给每个词分配一个唯一编号只有对应位置是 1其他全是 0。one_hotnp.eye(vocab_size)[sentence_ids]print(One-Hot 形状,one_hot.shape)print(第一个词“非常”的One-Hot,one_hot[0])非常 →[1.0.0.0.0.0.0.0.]1.2.2 Word2Vec无监督训练一个词固定一个向量近义词向量距离近无法处理多义词苹果 水果 / 公司1.2.3 nn.EmbeddingPyTorch 可训练嵌入深度学习标配随机初始化 → 随任务训练优化importtorchimporttorch.nnasnn embeddingnn.Embedding(vocab_size,embedding_dim5)sentence_tensortorch.LongTensor(sentence_ids)vectorsembedding(sentence_tensor)print(nn.Embedding 输出形状,vectors.shape)print(第一个词“非常”的向量)print(vectors[0].detach().numpy())(8,5)→8个词每个5维[-0.120.34-0.450.110.29]1.2.4 GloVe 全局词向量from gensim.modelsimportKeyedVectors# 这里用模拟向量真实GloVe需下载预训练文件glove_vectors{word: np.random.rand(5)forwordinvocab}print(GloVe - “学习”向量)print(glove_vectors[学习])1.2.5 ELMo上下文动态词向量第一个真正的上下文词向量同一个词不同语境向量不同解决多义词问题# 模拟ELMo动态向量# 同一个词“苹果”在不同语境向量不同defelmo_mock(word,context):staticnp.random.rand(5)if公司incontext:returnstatic0.5elif水果incontext:returnstatic-0.5returnstatic vec1elmo_mock(苹果,吃苹果)vec2elmo_mock(苹果,苹果公司)print(水果苹果,vec1.round(2))print(公司苹果,vec2.round(2))三、循环神经网络3.1 RNN3.2 LSTM3.3 GRU3.4 Bi-RNN

相关推荐

ExerciseDB API独特亮点:gender字段男女动作动画的设计巧思与健身App实战指南
ExerciseDB API独特亮点:gender字段男女动作动画的设计巧思与健身App实战指南

【免费下载链接】exercisedb-api ExerciseDB API is an fitness exercise database api that allows users to access high-quality exercises data which consists 11000 exercises. This API offers extensive information on each exercise, including target body parts, e… · 2026/11/15 19:21:37

【RHCA+】_etc_sysconfig_sysstat
【RHCA+】_etc_sysconfig_sysstat

“ 目录:RHCA -> 12 系统监控 -> 3 _etc_sysconfig_sysstat ”配置项作用HISTORY保存历史数据的天数;默认为28天COMPRESSAFTER当数据文件创建时间和当前时间相差多少天后,对数据文件进行压缩;默认为31天SADC_OPTIONSsar命令… · 2026/11/15 12:52:45

【RHCA+】Cockpit(基于Web的图形化服务管理工具)
【RHCA+】Cockpit(基于Web的图形化服务管理工具)

“ 目录:RHCA -> 12 系统监控 -> 2 Cockpit(基于Web的图形化服务管理工具) ”Cockpit是基于Web的图形化服务管理工具,界面友好,跨平台性强[rootwuzuniao-1 ~]# dnf install cockpit #cockpit默认安装在了RHEL8中… · 2026/11/15 12:52:27

深圳光明区电工证报名保姆级教程:学历不高也能轻松考过
深圳光明区电工证报名保姆级教程:学历不高也能轻松考过

深圳光明区电工证报名保姆级教程:学历不高也能轻松考过 你是不是也担心自己学历不高,报不了深圳光明区电工证?别急,今天我就用 保姆级教程 带你一步步搞定电工证报名,哪怕你是初中毕业也能顺利上岸。… · 2026/11/15 19:27:02

福建电工证报名怎么考怎么过?含金量高的证别白交培训费
福建电工证报名怎么考怎么过?含金量高的证别白交培训费

福建电工证报名怎么考怎么过?含金量高的证别白交培训费 怕考不过白交培训费?别急,福建电工证报名怎么考,我来告诉你怎么避坑。很多学员花了几千块报了培训班,结果考试挂了,培训费打水漂。电工证含金量高,但不是所有人都能轻松拿下的。今天就从报名、考… · 2026/11/15 19:27:02

常州办电工证值不值得考?工地太忙根本没时间复习考试
常州办电工证值不值得考?工地太忙根本没时间复习考试

常州办电工证值不值得考?工地太忙根本没时间复习考试 工地太忙根本没时间复习考试,这是很多一线工人的真实写照。尤其是像常州这样的制造业大市,建筑工地和工厂密布,电工证成为很多电工岗位的“入场券”。但面对“常州办电工证值不值得考”这个问题,很多… · 2026/11/15 19:27:02

电工证火热报名中值不值得考
电工证火热报名中值不值得考

电工证火热报名中值不值得考 怕考不过白交培训费?别急,听我讲讲这事儿。现在电工证确实是 火热报名中 ,但很多人在报名前都会纠结一个问题: 值不值得考… · 2026/11/15 19:27:02

钦州市电工证考试网上查询没时间复习怎么办
钦州市电工证考试网上查询没时间复习怎么办

钦州市电工证考试网上查询没时间复习怎么办 工地太忙根本没时间复习考试,尤其是刚入行的电工,一边要赶工期,一边还要准备电工证考试,简直分身乏术。你是不是也遇到过这种情况?别急,今天我就从 钦州市电工证考试… · 2026/11/15 19:27:02

呼和浩特办理电工证多久拿证?急需特种作业证才能上岗找工作
呼和浩特办理电工证多久拿证?急需特种作业证才能上岗找工作

呼和浩特办理电工证多久拿证?急需特种作业证才能上岗找工作 你是不是正被“没有电工证就找不到工作”这句话逼得喘不过气?别急, 呼和浩特办理电工证 虽然流程有点复杂,但只要搞清楚怎么操作, 多久拿证… · 2026/11/15 19:26:01

长春初级电工证怎么考?通过率揭秘全在这里
长春初级电工证怎么考?通过率揭秘全在这里

长春初级电工证怎么考?通过率揭秘全在这里 之前考的证在外省能不能转过来?这几乎是每个想从事电工工作的人都会问的问题。特别是那些在外地打拼多年、手里握着一张“外地电工证”的人,到了长春想继续干这一行,第一反应就是“我的证能用吗?”。今天我们就… · 2026/11/15 0:00:50

国内电工证报考条件与考试时间
国内电工证报考条件与考试时间

低压电工证怎么考?学历不高也能报名,官方报名入口全在这 你是不是经常听说“电工证是入行门槛”,但又担心自己学历不够、经验不足,根本报不了名?别急,今天就带你从零了解【国内电工证】的报考流程、考试内容,还有怎么在 官方报名入口… · 2026/11/15 0:00:50

电工作业时如何断电?电子证书到底能不能全国通用?
电工作业时如何断电?电子证书到底能不能全国通用?

电工作业时如何断电?电子证书到底能不能全国通用? 实操考试心里没底怕挂科,特别是电工作业时如何断电这一操作,不仅关系到你能不能拿到证书,更关系到以后能不能顺利上岗。很多人觉得这不过就是“断个电”,但其实这里面的门道可不少,稍有不慎就可能出错… · 2026/11/15 0:00:50

长春初级电工证怎么考?通过率揭秘全在这里
长春初级电工证怎么考?通过率揭秘全在这里

长春初级电工证怎么考?通过率揭秘全在这里 之前考的证在外省能不能转过来?这几乎是每个想从事电工工作的人都会问的问题。特别是那些在外地打拼多年、手里握着一张“外地电工证”的人,到了长春想继续干这一行,第一反应就是“我的证能用吗?”。今天我们就… · 2026/11/15 0:00:50

国内电工证报考条件与考试时间
国内电工证报考条件与考试时间

低压电工证怎么考?学历不高也能报名,官方报名入口全在这 你是不是经常听说“电工证是入行门槛”,但又担心自己学历不够、经验不足,根本报不了名?别急,今天就带你从零了解【国内电工证】的报考流程、考试内容,还有怎么在 官方报名入口… · 2026/11/15 0:00:50

电工作业时如何断电?电子证书到底能不能全国通用?
电工作业时如何断电?电子证书到底能不能全国通用?

电工作业时如何断电?电子证书到底能不能全国通用? 实操考试心里没底怕挂科,特别是电工作业时如何断电这一操作,不仅关系到你能不能拿到证书,更关系到以后能不能顺利上岗。很多人觉得这不过就是“断个电”,但其实这里面的门道可不少,稍有不慎就可能出错… · 2026/11/15 0:00:50

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/15 1:51:20

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/15 4:02:19

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/15 3:02:05

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码