深度学习进阶十九相对位置编码 RPE在 Transformer 模型中位置编码是至关重要的组成部分。传统的绝对位置编码Absolute Position Encoding, APE将每个位置映射为一个固定的向量但这种方式在处理长序列、可变长度序列以及捕捉相对位置关系时存在局限。相对位置编码Relative Position Encoding, RPE应运而生它通过建模 token 之间的相对距离而非绝对位置显著提升了模型的泛化能力和对序列结构的理解。本文将从实战角度出发通过代码示例深入解析 RPE 的原理、实现与优势。## 绝对位置编码的局限在 Transformer 中绝对位置编码通过添加正弦波或学习向量来标记每个 token 的位置。例如对于序列长度 ( n )位置 ( i ) 的编码为[PE_{(i,2k)} \sin(i / 10000^{2k/d}), \quad PE_{(i,2k1)} \cos(i / 10000^{2k/d})]这种编码的缺点在于- 无法利用序列内部的相对距离如“单词 A 距离单词 B 3 个位置”。- 对序列长度变化敏感长序列的编码可能超出训练时的最大长度。- 在注意力计算中绝对位置信息与内容信息混合可能导致模型难以捕捉局部依赖。相对位置编码通过直接建模 token 之间的相对偏移 ( i - j ) 来解决这些问题广泛应用于 BERT、T5、Transformer-XL 等模型。## RPE 的核心思想相对位置编码的核心是在注意力机制中引入一个偏置项该偏置项取决于查询Query和键Key之间的相对距离。具体来说标准注意力计算为[\text{Attention}(Q, K, V) \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V]在 RPE 中我们修改为[\text{Attention}(Q, K, V) \text{softmax}\left(\frac{QK^T \text{RPE_bias}}{\sqrt{d_k}}\right)V]其中 ( \text{RPE_bias}_{i,j} ) 是位置 ( i ) 和 ( j ) 的相对距离 ( i - j ) 的函数。常见的实现方式包括-可学习的相对位置偏置为每个可能的相对距离分配一个可训练的参数。-基于正弦波的距离嵌入将相对距离映射为固定或可学习的向量。## 实战实现一个带 RPE 的 Transformer 注意力层下面我们用 PyTorch 实现一个简单的相对位置编码注意力模块。我们将使用可学习的相对位置偏置限制最大相对距离为 ( k )。### 代码示例 1基础 RPE 注意力实现pythonimport torchimport torch.nn as nnimport torch.nn.functional as Fclass RelativePositionAttention(nn.Module): 带可学习相对位置偏置的注意力层 def __init__(self, d_model, n_heads, max_relative_position16): super().__init__() self.d_model d_model self.n_heads n_heads self.d_k d_model // n_heads # 每个头的维度 self.max_relative_position max_relative_position # 定义 Q, K, V 的线性变换 self.W_q nn.Linear(d_model, d_model) self.W_k nn.Linear(d_model, d_model) self.W_v nn.Linear(d_model, d_model) self.W_o nn.Linear(d_model, d_model) # 可学习的相对位置偏置形状为 (2*max_relative_position1, n_heads) # 索引映射相对距离 d 映射到 idx d max_relative_position self.relative_position_bias nn.Parameter( torch.randn(2 * max_relative_position 1, n_heads) ) def forward(self, x, maskNone): x: (batch_size, seq_len, d_model) mask: (batch_size, seq_len) 或 None batch_size, seq_len, _ x.size() # 线性变换并拆分为多头 q self.W_q(x).view(batch_size, seq_len, self.n_heads, self.d_k).transpose(1, 2) k self.W_k(x).view(batch_size, seq_len, self.n_heads, self.d_k).transpose(1, 2) v self.W_v(x).view(batch_size, seq_len, self.n_heads, self.d_k).transpose(1, 2) # 计算标准注意力分数 (batch, n_heads, seq_len, seq_len) scores torch.matmul(q, k.transpose(-2, -1)) / (self.d_k ** 0.5) # 生成相对位置索引矩阵 (seq_len, seq_len) # 对于位置 i 和 j相对距离 d i - j # 我们限制 d 在 [-max_relative_position, max_relative_position] 之间 d torch.arange(seq_len).unsqueeze(0) - torch.arange(seq_len).unsqueeze(1) # (seq_len, seq_len) d_clamped torch.clamp(d, -self.max_relative_position, self.max_relative_position) # 截断 # 将 [-max, max] 映射到 [0, 2*max] d_index d_clamped self.max_relative_position # (seq_len, seq_len) # 获取相对位置偏置形状为 (seq_len, seq_len, n_heads) bias self.relative_position_bias[d_index] # (seq_len, seq_len, n_heads) # 调整维度以匹配 scores: (1, n_heads, seq_len, seq_len) bias bias.permute(2, 0, 1).unsqueeze(0) # (1, n_heads, seq_len, seq_len) # 添加偏置 scores scores bias # 应用 mask如果有 if mask is not None: # mask 形状 (batch, seq_len)补 0 表示有效1 表示无效 mask_expanded mask.unsqueeze(1).unsqueeze(2) # (batch, 1, 1, seq_len) scores scores.masked_fill(mask_expanded 0, float(-inf)) # Softmax 和加权求和 attn_weights F.softmax(scores, dim-1) context torch.matmul(attn_weights, v) # (batch, n_heads, seq_len, d_k) # 拼接多头并输出 context context.transpose(1, 2).contiguous().view(batch_size, seq_len, self.d_model) output self.W_o(context) return output# 测试代码if __name__ __main__: # 创建模型实例 d_model 64 n_heads 4 max_rel_pos 8 model RelativePositionAttention(d_model, n_heads, max_rel_pos) # 模拟输入batch_size2, seq_len10 x torch.randn(2, 10, d_model) mask torch.ones(2, 10, dtypetorch.bool) # 全部有效 output model(x, mask) print(输出形状:, output.shape) # 应为 (2, 10, 64)代码说明-relative_position_bias是一个可学习参数大小为(2*max_relative_position1, n_heads)每个头有自己的偏置向量。- 索引映射d_index d max_relative_position将相对距离可能为负转换为非负索引。- 在注意力分数计算中scores加上bias从而让模型学习到不同相对距离的重要性。## 实战与绝对位置编码的对比实验为了直观展示 RPE 的效果我们设计一个简单的序列分类任务判断两个 token 是否相邻。我们将训练一个带 APE 的 Transformer 和一个带 RPE 的 Transformer并比较它们的性能。### 代码示例 2对比实验pythonimport torchimport torch.optim as optimfrom torch.utils.data import DataLoader, TensorDataset# 生成合成数据判断序列中两个指定位置的 token 是否相邻def generate_data(num_samples1000, seq_len8): 生成数据每个样本包含一个序列和两个位置索引标签表示这两个位置是否相邻。 data [] labels [] for _ in range(num_samples): seq torch.randint(0, 10, (seq_len,)) # 随机 token pos1 torch.randint(0, seq_len, (1,)).item() pos2 torch.randint(0, seq_len, (1,)).item() label 1 if abs(pos1 - pos2) 1 else 0 # 是否相邻 data.append((seq, pos1, pos2)) labels.append(label) return data, labels# 定义带 APE 的 Transformer 分类器class AbsolutePositionTransformer(nn.Module): def __init__(self, vocab_size11, d_model32, n_heads4, seq_len8): super().__init__() self.embedding nn.Embedding(vocab_size, d_model) self.position_encoding nn.Parameter(torch.randn(1, seq_len, d_model)) # 绝对位置 self.attention nn.MultiheadAttention(d_model, n_heads, batch_firstTrue) self.fc nn.Linear(d_model, 2) # 二分类 def forward(self, seq, pos1, pos2): # seq: (batch, seq_len) x self.embedding(seq) self.position_encoding # 添加绝对位置 attn_out, _ self.attention(x, x, x) # 自注意力 # 取两个位置的输出 h1 attn_out[torch.arange(attn_out.size(0)), pos1] h2 attn_out[torch.arange(attn_out.size(0)), pos2] out self.fc(h1 h2) # 加和后分类 return out# 定义带 RPE 的 Transformer 分类器class RelativePositionTransformer(nn.Module): def __init__(self, vocab_size11, d_model32, n_heads4, max_rel_pos8): super().__init__() self.embedding nn.Embedding(vocab_size, d_model) self.attention RelativePositionAttention(d_model, n_heads, max_rel_pos) self.fc nn.Linear(d_model, 2) def forward(self, seq, pos1, pos2): x self.embedding(seq) # 无绝对位置编码 attn_out self.attention(x) # 使用 RPE 注意力 h1 attn_out[torch.arange(attn_out.size(0)), pos1] h2 attn_out[torch.arange(attn_out.size(0)), pos2] out self.fc(h1 h2) return out# 训练函数def train_model(model, dataloader, epochs10, lr0.001): criterion nn.CrossEntropyLoss() optimizer optim.Adam(model.parameters(), lrlr) model.train() for epoch in range(epochs): total_loss 0.0 for batch in dataloader: seq, pos1, pos2, labels batch optimizer.zero_grad() output model(seq, pos1, pos2) loss criterion(output, labels) loss.backward() optimizer.step() total_loss loss.item() print(fEpoch {epoch1}, Loss: {total_loss/len(dataloader):.4f})# 测试准确率def evaluate(model, dataloader): model.eval() correct 0 total 0 with torch.no_grad(): for batch in dataloader: seq, pos1, pos2, labels batch output model(seq, pos1, pos2) _, predicted torch.max(output, 1) total labels.size(0) correct (predicted labels).sum().item() return correct / total# 主程序if __name__ __main__: # 生成数据 data, labels generate_data(2000, seq_len8) seqs torch.stack([d[0] for d in data]) # (2000, 8) pos1s torch.tensor([d[1] for d in data]) pos2s torch.tensor([d[2] for d in data]) labels torch.tensor(labels) dataset TensorDataset(seqs, pos1s, pos2s, labels) dataloader DataLoader(dataset, batch_size32, shuffleTrue) # 训练 APE 模型 print(训练绝对位置编码模型...) ape_model AbsolutePositionTransformer() train_model(ape_model, dataloader, epochs5) ape_acc evaluate(ape_model, dataloader) print(fAPE 模型准确率: {ape_acc:.4f}) # 训练 RPE 模型 print(训练相对位置编码模型...) rpe_model RelativePositionTransformer() train_model(rpe_model, dataloader, epochs5) rpe_acc evaluate(rpe_model, dataloader) print(fRPE 模型准确率: {rpe_acc:.4f})实验结果分析- 在“判断相邻位置”这类依赖相对距离的任务中RPE 模型通常收敛更快且准确率更高。- 绝对位置编码模型有时会过拟合于绝对位置如位置 3 和 4 相邻而 RPE 能更好地泛化到任意序列长度。## RPE 的变体与演进除了上述实现RPE 还有其他形式1.T5 风格在注意力分数上添加可学习的偏置但偏置仅取决于相对距离的桶bucket而非精确距离。2.Transformer-XL将相对位置信息融入键K和查询Q的计算中使用正弦波编码。3.RoPE旋转位置编码通过旋转矩阵对 Q 和 K 进行变换隐式编码相对位置无需额外偏置。## 总结相对位置编码 RPE 通过建模 token 间的相对距离克服了绝对位置编码在长序列和相对关系捕捉上的不足。本文从原理出发通过两个可运行的代码示例展示了 RPE 在注意力机制中的实现及其在序列分类任务中的优势。实战中RPE 尤其适用于需要理解局部结构或序列长度变化的任务如文本生成、时间序列预测。掌握 RPE 不仅有助于优化现有模型也是理解现代 Transformer 架构如 GPT-4、Llama的关键一步。建议读者进一步尝试将 RPE 集成到自己的 Transformer 模型中并对比不同变体的效果。
企业数字化 ERP 产品动态
相关推荐
城市级AI计算:数字孪生与智能决策实践 1. 项目背景与核心价值去年参与某新区数字孪生项目时,我第一次见识到城市级AI计算的震撼力。当时需要模拟30平方公里区域未来20年的交通流量变化,传统仿真工具需要两周时间,而基于AI的解决方案仅用8小时就完成了高精度推演。这种效率跃迁的背… · 2026/8/1 16:38:01
利用AI修复Blender插件,打造Blender到Unity一键导出工具 在三维内容创作和游戏开发流程中,Blender 和 Unity 是两款不可或缺的软件。Blender 以其强大的建模、雕刻和动画功能著称,而 Unity 则是实时渲染和交互体验开发的行业标准。然而,将 Blender 中精心制作的模型、材质和动画高效、保真地导入 Un… · 2026/9/12 22:14:03
智慧养殖牛只行为检测数据集与应用实践 1. 项目背景与数据集价值 在现代化畜牧业尤其是智慧养殖领域,牛只行为监测是提升养殖效率、保障动物福利的关键环节。传统人工观察方式存在效率低、主观性强等缺陷,而基于计算机视觉的自动化监测系统正逐渐成为行业解决方案的核心。要实现高精度检测&… · 2026/9/21 2:31:49
黔江报考电工证的流程 之前考的证在外省能不能转过来多少钱 黔江报考电工证的流程 之前考的证在外省能不能转过来多少钱 之前考的证在外省能不能转过来?这几乎是所有准备报考电工证的小伙伴第一反应。尤其是那些在外地打工多年,回老家发展的朋友,心里头肯定有疑问:我之前在别的省考的证,还能不能在黔江用?… · 2026/11/17 21:39:01
三一重工汽车特种装备在哪考?别再交钱考不过了 三一重工汽车特种装备在哪考?别再交钱考不过了 你怕考不过特种作业证白交培训费吗?别急,先听我说。在三一重工汽车特种装备这类岗位上,特种作业证不是摆设,而是进厂工作的“通行证”。如果没证,连门都进不去。但问题来了,… · 2026/11/17 21:39:01
九江办电工证怎么考才能稳过实操?电子证书怎么拿? 九江办电工证怎么考才能稳过实操?电子证书怎么拿? 实操考试心里没底怕挂科,这几乎是每个想考电工证的人都有的想法。尤其是在九江,很多新手对考试流程、备考方法都不太清楚,更别说应对实操考试了。但别担心,只要你掌握了正确的方法,拿到 电子证书… · 2026/11/17 21:39:01
救护工是特种工吗 上岗必备证书怎么考 救护工是特种工吗 上岗必备证书怎么考 工地太忙根本没时间复习考试,很多人一听说要考证就头大,特别是像救护工这类听起来“专业又神秘”的证书,更是让人摸不着头脑。今天咱们就来聊聊【救护工是特种工吗】,到底是不是上岗必备的证书,能不能帮你多挣点钱… · 2026/11/17 21:39:01
晋江电工证补贴上岗必备:没有这个证,再急也上不了岗 晋江电工证补贴上岗必备:没有这个证,再急也上不了岗 急需特种作业证才能上岗找工作,这不是危言耸听,而是无数求职者的亲身经历。尤其在晋江这类制造业发达的城市,电工证几乎是电工作业岗位的“上岗必备”。你可能以为只要会操作就能上手,但一旦被查到无… · 2026/11/17 21:39:01
长春初级电工证怎么考?通过率揭秘全在这里 长春初级电工证怎么考?通过率揭秘全在这里 之前考的证在外省能不能转过来?这几乎是每个想从事电工工作的人都会问的问题。特别是那些在外地打拼多年、手里握着一张“外地电工证”的人,到了长春想继续干这一行,第一反应就是“我的证能用吗?”。今天我们就… · 2026/11/17 5:38:05
国内电工证报考条件与考试时间 低压电工证怎么考?学历不高也能报名,官方报名入口全在这 你是不是经常听说“电工证是入行门槛”,但又担心自己学历不够、经验不足,根本报不了名?别急,今天就带你从零了解【国内电工证】的报考流程、考试内容,还有怎么在 官方报名入口… · 2026/11/17 5:38:05
电工作业时如何断电?电子证书到底能不能全国通用? 电工作业时如何断电?电子证书到底能不能全国通用? 实操考试心里没底怕挂科,特别是电工作业时如何断电这一操作,不仅关系到你能不能拿到证书,更关系到以后能不能顺利上岗。很多人觉得这不过就是“断个电”,但其实这里面的门道可不少,稍有不慎就可能出错… · 2026/11/17 9:06:35
安徽特种工考证学校千万别踩坑,学历不高也能考证上岗 安徽特种工考证学校千万别踩坑,学历不高也能考证上岗 你是不是总觉得学历不高就考不了证,连报名资格都够不上?其实,很多人和你一样,学历不占优势,但想通过考证转行或提升自己的职业竞争力。安徽特种工考证学校虽然门槛不高,但千万别踩坑,稍有不慎就会… · 2026/11/17 0:00:20
你没学历也能考福田特种作业操作证?真实经历告诉你怎么干 你没学历也能考福田特种作业操作证?真实经历告诉你怎么干 你是不是觉得学历不高就考不上福田特种作业操作证?其实不然,我有个老乡,初中毕业,现在在安阳干焊工,每月拿8000多,还评上了高级技师。他的经历我今天就给你说说,看看你能不能照着走。… · 2026/11/17 0:00:20
低压电工证哪里盖章怎么报名 过期了别慌教你一步步复审 低压电工证哪里盖章怎么报名 过期了别慌教你一步步复审 证书过期了不知道怎么复审延期?低压电工证是很多电工从业者必须持有的证件,一旦到期未及时办理复审,不仅影响工作,还可能面临被单位辞退甚至罚款。今天我就从南阳地区培训机构学员的角度,详细告诉… · 2026/11/17 0:00:20
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/16 16:48:43
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/16 16:48:57
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/16 16:48:48