《深度学习》期末练习题 | 简答题第3篇：RNN、LSTM与Transformer核心考点精讲

《深度学习》期末练习题 | 简答题第3篇RNN、LSTM与Transformer核心考点精讲下一篇《深度学习》期末练习题 | 简答题第4篇 —— YOLOv5 核心考点精讲前言期末考试临近为了帮助大家高效复习《深度学习》课程本系列博客将按章节梳理高频简答题。本篇为第3篇聚焦于序列建模的核心内容循环神经网络RNN、LSTM/GRU 以及 Transformer 架构。每道题均包含【原题】、【标准答案】与【深度解析】助你不仅“背得过”更能“理解透”。11. RNN 的核心思想与变长序列处理 原题请解释循环神经网络 RNN 的核心思想是什么它是如何处理变长序列数据的✅ 标准答案RNN 的核心思想是引入隐藏状态Hidden Stateh t h_tht​它会在时间步之间循环传递。具体来说RNN 在每个时间步t tt接收当前输入x t x_txt​和上一时刻的隐藏状态h t − 1 h_{t-1}ht−1​并计算得到当前的隐藏状态h t h_tht​。由于h t h_tht​包含了之前所有时刻的信息RNN 能够处理长度不固定的序列如文本、时间序列并捕获上下文依赖。 深度解析权值共享是关键RNN 之所以能处理“变长”序列根本原因在于参数共享。无论序列多长RNN 在每个时间步使用的权重矩阵W h h W_{hh}Whh​、W x h W_{xh}Wxh​都是相同的。这使得模型结构可以随序列长度动态展开而不需要像全连接网络那样固定输入维度。信息压缩与瓶颈隐藏状态h t h_tht​本质上是对历史信息的“有损压缩”。虽然理论上它能记住过去但在实际训练中由于梯度消失/爆炸问题标准 RNN 很难真正捕捉到长距离依赖Long-term Dependency。这也是后续 LSTM 和 GRU 被提出的直接动因。公式表达h t σ ( W x h x t W h h h t − 1 b ) h_t \sigma(W_{xh} x_t W_{hh} h_{t-1} b)ht​σ(Wxh​xt​Whh​ht−1​b)这个递归公式就是“循环”二字的数学本质。12. LSTM 与 GRU 的结构特点对比 原题简述 LSTM 和 GRU 结构特点。✅ 标准答案LSTM 和 GRU 是在传统 RNN 基础上引入门控制机制的改进模型用于解决梯度消失和长期依赖问题。LSTM包含遗忘门、输入门和输出门并具有独立的细胞状态Cell State能够较好保存长期信息但参数较多、结构复杂。GRU仅包含更新门和重置门将细胞状态与隐藏状态合并参数更少、训练更快性能通常接近 LSTM。 深度解析特性LSTMGRU门数量3个遗忘、输入、输出2个更新、重置状态变量细胞状态c t c_tct​ 隐藏状态h t h_tht​仅隐藏状态h t h_tht​参数量较多4组权重矩阵较少3组权重矩阵适用场景数据量大、需要精细记忆控制数据量较小、追求训练效率为什么门控能解决梯度消失门控机制尤其是 LSTM 的遗忘门提供了一条类似“传送带”的梯度传播路径。当遗忘门接近1时梯度可以几乎无损地反向传播多个时间步从而缓解了连乘导致的梯度衰减。工程选型建议在大多数 NLP 任务中GRU 和 LSTM 效果差异不大。若数据集较小或算力受限优先尝试 GRU若任务对长程依赖极其敏感且数据充足LSTM 上限可能更高。13. Transformer 模型的定义 原题什么是 Transformer 模型✅ 标准答案Transformer 是一种完全基于自注意力机制Self-Attention的神经网络模型摒弃了传统的循环和卷积结构。它通过编码器-解码器Encoder-Decoder架构并行处理序列数据已成为现代自然语言处理乃至多模态领域的基础范式。 深度解析划时代意义Transformer 出自 2017 年论文“Attention Is All You Need”。它的核心突破在于并行化——RNN 必须逐步计算而 Transformer 可以同时处理序列中所有位置极大提升了训练效率和对 GPU 的利用率。架构组成Encoder双向自注意力适合理解类任务如 BERT。Decoder带掩码的自注意力 交叉注意力适合生成类任务如 GPT、T5。注意区分答题时不要只说“用于NLP”如今 Transformer 已广泛应用于计算机视觉ViT、语音识别、蛋白质结构预测等领域强调其作为通用序列/集合建模框架的定位更为准确。14. 自注意力机制的作用 原题自注意力机制有什么作用✅ 标准答案自注意力机制可以让句子中每个词直接关注其他所有词从而建模任意两个位置之间的依赖关系无论它们相距多远。这显著提高了模型对语义关联和上下文的理解能力。 深度解析vs RNN 的优势RNN 中两个相距n nn的词需要经过n nn步传递才能交互信息容易丢失自注意力的路径长度为O ( 1 ) O(1)O(1)实现了真正的“全局感受野”。Q-K-V 三元组自注意力通过 Query查询、Key键、Value值三个向量来实现动态加权。每个 token 既是被查询的对象也是提供信息的来源这种对称性使其特别适合无监督预训练。多头注意力实际使用中采用 Multi-Head Attention让模型在不同子空间中同时关注语法、语义、指代等不同层面的关系增强了表达能力。15. 位置编码的作用 原题位置编码在 Transformer 中有什么作用✅ 标准答案位置编码是用来表示词在句子中位置/顺序信息的额外信号。因为自注意力机制本身具有排列不变性Permutation Invariant不包含任何顺序结构所以必须显式注入位置编码来帮助模型理解语序。 深度解析为什么必须有如果去掉位置编码“猫追狗” 和 “狗追猫” 在自注意力计算中将产生完全相同的输出这显然不可接受。常见实现方式正弦余弦编码原始 Transformer固定不可学习利用三角函数的周期性编码相对位置。可学习位置嵌入BERT、GPT作为参数参与训练灵活性更高。旋转位置编码 RoPELLaMA、Qwen 等现代 LLM将绝对位置信息融入 Q/K 的内积运算中天然编码相对位置外推性更好。考试加分点提到“自注意力具有排列不变性”这一术语比单纯说“没有顺序”更具专业性是阅卷老师眼中的关键词。 复习小贴士本篇5道题构成了序列模型的完整演进脉络RNN → LSTM/GRU → Transformer → Self-Attention → Positional Encoding。建议以这条线索串联记忆而非孤立背诵。下一篇我们将进入优化算法与正则化专题敬请期待如果这篇对你有帮助欢迎点赞 收藏 ⭐ 关注 三连支持你的鼓励是我持续更新的最大动力