首页/新闻资讯/正文详情

BERT深入浅出

发布时间:2026/11/4 2:26:09 来源:云帆数科 栏目:资讯中心
BERT深入浅出
BERT深入浅出简介架构Bert EncoderMLMMasked Language ModelNSPNext Sentence Prediction训练过程微调简介2019 年 Google AI 发布论文 BERTPre-training of Deep Bidirectional Transformers for Language Understanding。BERT分为预训练Pre-training与微调Fine-tune。预训练简单来说就是通过两个联合训练任务得到Bert模型。而微调便是在预训练得到Bert模型基础上进行各种各样的的 NLP 任务。而他的双向是针对解码器来说的解码器预测下一个词从左到右Bert采用Encoder结构能获取mask词的上下文信息。论文复现可以见项目BERT架构Bert Encoder其就是 Transformer Encoder 的部分做了修改MLMMasked Language ModelMLM是指在训练的时候随即从输入语料上mask掉一些单词然后通过的上下文预测该单词该任务非常像我们在中学时期经常做的完形填空。正如传统的语言模型算法和RNN匹配那样MLM的这个性质和Transformer的结构是非常匹配的。在BERT的实验中15%的WordPiece Token会被随机Mask掉。在训练模型时一个句子会被多次喂到模型中用于参数学习但是Google并没有在每次都mask掉这些单词而是在确定要Mask掉的单词之后做以下处理。80%的时候会直接替换为[Mask]将句子 “my dog is cute” 转换为句子 “my dog is [Mask]”。10%的时候将其替换为其它任意单词将单词 “cute” 替换成另一个随机词例如 “apple”。将句子 “my dog is cute” 转换为句子 “my dog is apple”。10%的时候会保留原始Token例如保持句子为 “my dog is cute” 不变。MLM叫做掩码语言模型这是无监督目标函数分为两种ARautoregressive自回归模型只能考虑单侧的信息典型的就是GPT。P(我爱吃饭)P(我)P(爱|我)P(吃|我爱)P(饭|我爱吃)AEautoencoding自编码模型从损坏的输入数据中预测重建原始数据。可以使用上下文的信息。mask之后【我爱mask饭】。P(我爱吃饭|我爱mask饭)P(mask吃|我爱饭)也就是mask接近文本的词汇。而Bert就是使用的AENSPNext Sentence PredictionNext Sentence PredictionNSP的任务是判断句子B是否是句子A的下文。如果是的话输出’IsNext‘否则输出’NotNext‘。训练数据的生成方式是从平行语料中随机抽取的连续两句话其中50%保留抽取的两句话它们符合IsNext关系另外50%的第二句话是随机从预料中提取的它们的关系是NotNext的。这个关系保存在[CLS]符号中。NSP样本如下从训练语料库中取出两个连续的段落作为正样本从不同的文档中随机创建一对段落作为负样本缺点主题预测和连贯性预测合并为一个单项任务训练过程微调微调分为四类句子对的分类任务单个句子的分类任务问答任务序列标注任务在海量的语料上训练完BERT之后便可以将其应用到NLP的各个任务中了。 微调(Fine-Tuning)的任务包括基于句子对的分类任务基于单个句子的分类任务问答任务命名实体识别等。基于句子对的分类任务MNLI给定一个前提 (Premise) 根据这个前提去推断假设 (Hypothesis) 与前提的关系。该任务的关系分为三种蕴含关系 (Entailment)、矛盾关系 (Contradiction) 以及中立关系 (Neutral)。所以这个问题本质上是一个分类问题我们需要做的是去发掘前提和假设这两个句子对之间的交互信息。QQP基于Quora判断 Quora 上的两个问题句是否表示的是一样的意思。QNLI用于判断文本是否包含问题的答案类似于我们做阅读理解定位问题所在的段落。STS-B预测两个句子的相似性包括5个级别。MRPC也是判断两个句子是否是等价的。RTE类似于MNLI但是只是对蕴含关系的二分类判断而且数据集更小。SWAG从四个句子中选择为可能为前句下文的那个。基于单个句子的分类任务SST-2电影评价的情感分析。CoLA句子语义判断是否是可接受的Acceptable。问答任务SQuAD v1.1给定一个句子通常是一个问题和一段描述文本输出这个问题的答案类似于做阅读理解的简答题。命名实体识别CoNLL-2003 NER判断一个句子中的单词是不是PersonOrganizationLocationMiscellaneous或者other无命名实体。​

相关推荐

Linux 学习笔记(五十二):网络探路者——DNS 域名解析与 ICMP 诊断协议
Linux 学习笔记(五十二):网络探路者——DNS 域名解析与 ICMP 诊断协议

📌 核心结论(TL;DR):DNS:将域名翻译为 IP。解析顺序:浏览器缓存 -> hosts 文件 -> 本地 DNS -> 根服务器 -> 顶级域 -> 权威域。ICMP:网络层协议,用于报告差错和网络… · 2026/11/4 2:25:09

C++代码实现MATLAB中的geomean函数功能
C++代码实现MATLAB中的geomean函数功能

#include <cmath> #include <vector> #include <stdexcept> #include <limits> #include <iostream> #include <iomanip>// 计算一组 double 的几何平均数 // 行为对齐 MATLAB geomean: // - 任一元素为 0 → 返回 0 // - 任一元素为负… · 2026/11/4 2:25:09

项目实战:出入库管理系统
项目实战:出入库管理系统

前言这一篇进入项目实战&#xff1a;一个完整的出入库管理系统。这个项目把前面学的 Spring Boot、MyBatis、Vue 3、Element Plus、Axios 全部串起来“请做好准备&#xff0c;全军出击”一、出入库业务理解&#xff08;完整业务流程&#xff09;1.1 什么是出入库管理&#xff1… · 2026/11/4 2:25:09

LeetCode数组操作:回文数判断与加一运算详解
LeetCode数组操作:回文数判断与加一运算详解

1. 题目背景与需求解析 今天想和大家分享两道经典的LeetCode数组操作题目——"回文数判断"与"加一运算"。这两道题看似简单&#xff0c;却涵盖了整数处理、边界条件判断等编程基本功&#xff0c;非常适合用来检验基础算法的掌握程度。我在面试候选人和日常… · 2026/11/4 8:18:51

移动应用界面设计竞赛要点与实战技巧
移动应用界面设计竞赛要点与实战技巧

1. 移动应用界面设计竞赛模块解析作为一名参与过多次移动应用设计评审的从业者&#xff0c;我深知竞赛中界面设计模块的关键要点。本次ZZ039赛项的模块A聚焦"智慧健康"应用场景&#xff0c;要求选手在有限时间内完成四个核心界面的高保真原型设计。这种赛制非常贴近真… · 2026/11/4 8:18:51

4G移动网络代理方案:硬件选型与优化配置指南
4G移动网络代理方案:硬件选型与优化配置指南

1. 移动网络代理方案概述 在当今移动互联网环境中&#xff0c;稳定可靠的网络连接已成为许多业务场景的刚需。不同于传统固定宽带&#xff0c;基于4G LTE网络的移动接入方案因其部署灵活、覆盖广泛的特点&#xff0c;正被越来越多地应用于各类需要移动网络环境的场景中。 这种… · 2026/11/4 8:18:51

MoE混合专家架构详解:稀疏激活、推理优化与大模型部署实践
MoE混合专家架构详解:稀疏激活、推理优化与大模型部署实践

1. 项目概述&#xff1a;为什么 MoE 成了大模型的新分水岭 这两年做大模型的人&#xff0c;基本绕不开一个话题&#xff1a;模型越来越大&#xff0c;算力越来越贵&#xff0c;但谁都还想继续“堆参数”。如果你已经跑过 7B、13B 或者 70B 级别的开源模型&#xff0c;大概率会碰… · 2026/11/4 8:18:51

Ternary-Bonsai2还是GSQ-RCO?27B模型量化版实测对比与选型指南
Ternary-Bonsai2还是GSQ-RCO?27B模型量化版实测对比与选型指南

这段时间被问得最多的一个问题就是&#xff1a;Ternary-Bonsai2-27B和Qwen3.8-27B-GSQ-RCO到底该下哪个&#xff1f;群里从白天问到晚上&#xff0c;从4090问到Mac&#xff0c;核心无非是“哪个更快”“哪个更聪明”“下载地址在哪”。我把手头的RTX 4090和M2 Max各跑了一周&am… · 2026/11/4 8:18:51

工业设备智能诊断:ICEEMDAN+贝叶斯TCN+SHAP方案解析
工业设备智能诊断:ICEEMDAN+贝叶斯TCN+SHAP方案解析

1. 项目背景与核心价值 在工业设备健康管理领域&#xff0c;故障诊断技术正经历着从传统方法到智能算法的范式转变。这个项目提出了一种融合ICEEMDAN信号处理、贝叶斯优化TCN和SHAP可解释性分析的创新方案&#xff0c;其核心价值体现在三个维度&#xff1a; 首先&#xff0c;针… · 2026/11/4 8:17:51

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 3:16:49

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 6:59:29

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 7:02:38

AI辅助技术栈评估:提升研发决策效率60%
AI辅助技术栈评估:提升研发决策效率60%

1. 项目背景与核心价值技术决策一直是研发团队面临的重大挑战。随着技术生态的快速演进&#xff0c;技术栈的选择、维护和迭代变得愈发复杂。我们团队在过去两年里&#xff0c;先后经历了三次重大技术栈迁移&#xff0c;每次都需要投入大量人力进行技术评估和风险分析。直到去年… · 2026/11/4 0:00:17

从生成Token到直接决策:Jev如何重塑AI Agent工程实践
从生成Token到直接决策:Jev如何重塑AI Agent工程实践

1. 从"生成文字"到"拍板决策"&#xff1a;Jev 到底在解决什么问题大多数人第一次接触大模型&#xff0c;脑子里建立的模型是"输入问题、输出文字"。你问它今天天气怎么样&#xff0c;它给你一段描述&#xff1b;你让它写个周报&#xff0c;它给你… · 2026/11/4 0:00:17

32G统一内存跑大模型:内存账、TPS实测与端云分流
32G统一内存跑大模型:内存账、TPS实测与端云分流

想在一台 32G 统一内存的小主机上把大模型跑成"日常可用"&#xff0c;这件事我前后折腾了小半年。标题里说的这台 Mac mini M6&#xff0c;是我们这次讨论的目标平台&#xff0c;具体到手规格以实物为准&#xff1b;但下面这套推算方法和实测思路&#xff0c;对任何统… · 2026/11/4 0:00:17

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 3:16:49

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 6:59:29

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 7:02:38

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码