本文详细介绍了注意力机制的概念、工作原理及其简单实现。通过类比数据库查询解释了查询、键和值矩阵的来源和作用。文章还深入探讨了单头注意力和多头注意力机制并通过可视化图解和代码实现帮助读者更好地理解。对于想要学习大模型的程序员和初学者来说本文提供了宝贵的入门知识并附有代码示例方便读者实践和学习。注意力机制在整个注意力过程中模型会学习了三个权重:查询、键和值。查询、键和值的思想来源于信息检索系统。所以我们先理解数据库查询的思想。假设有一个数据库里面有所有一些作家和他们的书籍信息。现在我想读一些Rabindranath写的书在数据库中作者名字类似于键图书类似于值。查询的关键词Rabindranath是这个问题的键。所以需要计算查询和数据库的键(数据库中的所有作者)之间的相似度然后返回最相似作者的值(书籍)。同样注意力有三个矩阵分别是查询矩阵(Q)、键矩阵(K)和值矩阵(V)。它们中的每一个都具有与输入嵌入相同的维数。模型在训练中学习这些度量的值。我们可以假设我们从每个单词中创建一个向量这样我们就可以处理信息。对于每个单词生成一个512维的向量。所有3个矩阵都是512x512(因为单词嵌入的维度是512)。对于每个标记嵌入我们将其与所有三个矩阵(Q, K, V)相乘每个标记将有3个长度为512的中间向量。接下来计算分数它是查询和键向量之间的点积。分数决定了当我们在某个位置编码单词时对输入句子的其他部分的关注程度。然后将点积除以关键向量维数的平方根。这种缩放是为了防止点积变得太大或太小(取决于正值或负值)因为这可能导致训练期间的数值不稳定。选择比例因子是为了确保点积的方差近似等于1。然后通过softmax操作传递结果。这将分数标准化它们都是正的并且加起来等于1。softmax输出决定了我们应该从不同的单词中获取多少信息或特征(值)也就是在计算权重。这里需要注意的一点是为什么需要其他单词的信息/特征因为我们的语言是有上下文含义的一个相同的单词出现在不同的语境含义也不一样。最后一步就是计算softmax与这些值的乘积并将它们相加。可视化图解上面逻辑都是文字内容看起来有一些枯燥下面我们可视化它的矢量化实现。这样可以更加深入的理解。查询键和矩阵的计算方法如下同样的方法可以计算键向量和值向量。最后计算得分和注意力输出。简单代码实现import torch import torch.nn as nn from typing import List def get_input_embeddings(words: List[str], embeddings_dim: int): # we are creating random vector of embeddings_dim size for each words # normally we train a tokenizer to get the embeddings. # check the blog on tokenizer to learn about this part embeddings [torch.randn(embeddings_dim) for word in words] return embeddings text I should sleep now words text.split( ) len(words) # 4 embeddings_dim 512 # 512 dim because the original paper uses it. we can use other dim also embeddings get_input_embeddings(words, embeddings_dimembeddings_dim) embeddings[0].shape # torch.Size([512]) # initialize the query, key and value metrices query_matrix nn.Linear(embeddings_dim, embeddings_dim) key_matrix nn.Linear(embeddings_dim, embeddings_dim) value_matrix nn.Linear(embeddings_dim, embeddings_dim) query_matrix.weight.shape, key_matrix.weight.shape, value_matrix.weight.shape # torch.Size([512, 512]), torch.Size([512, 512]), torch.Size([512, 512]) # query, key and value vectors computation for each words embeddings query_vectors torch.stack([query_matrix(embedding) for embedding in embeddings]) key_vectors torch.stack([key_matrix(embedding) for embedding in embeddings]) value_vectors torch.stack([value_matrix(embedding) for embedding in embeddings]) query_vectors.shape, key_vectors.shape, value_vectors.shape # torch.Size([4, 512]), torch.Size([4, 512]), torch.Size([4, 512]) # compute the score scores torch.matmul(query_vectors, key_vectors.transpose(-2, -1)) / torch.sqrt(torch.tensor(embeddings_dim, dtypetorch.float32)) scores.shape # torch.Size([4, 4]) # compute the attention weights for each of the words with the other words softmax nn.Softmax(dim-1) attention_weights softmax(scores) attention_weights.shape # torch.Size([4, 4]) # attention output output torch.matmul(attention_weights, value_vectors) output.shape # torch.Size([4, 512])以上代码只是为了展示注意力机制的实现并未优化。多头注意力上面提到的注意力是单头注意力在原论文中有8个头。对于多头和单多头注意力计算相同只是查询(q0-q3)键(k0-k3)值(v0-v3)中间向量会有一些区别。之后将查询向量分成相等的部分有多少头就分成多少。在上图中有8个头查询键和值向量的维度为512。所以就变为了8个64维的向量。把前64个向量放到第一个头第二组向量放到第二个头以此类推。在上面的图片中我只展示了第一个头的计算。这里需要注意的是不同的框架有不同的实现方法pytorch官方的实现是上面这种但是tf和一些第三方的代码中是将每个头分开计算了比如8个头会使用8个lineartf的dense而不是一个大linear再拆解。还记得Pytorch的transformer里面要求emb_dim能被num_heads整除吗就是因为这个使用哪种方式都可以因为最终的结果都类似影响不大。当我们在一个head中有了小查询、键和值(64 dim的)之后计算剩下的逻辑与单个head注意相同。最后得到的64维的向量来自每个头。我们将每个头的64个输出组合起来得到最后的512个dim输出向量。多头注意力可以表示数据中的复杂关系。每个头都能学习不同的模式。多个头还提供了同时处理输入表示的不同子空间(本例64个向量表示512个原始向量)的能力。多头注意代码实现num_heads 8 # batch dim is 1 since we are processing one text. batch_size 1 text I should sleep now words text.split( ) len(words) # 4 embeddings_dim 512 embeddings get_input_embeddings(words, embeddings_dimembeddings_dim) embeddings[0].shape # torch.Size([512]) # initialize the query, key and value metrices query_matrix nn.Linear(embeddings_dim, embeddings_dim) key_matrix nn.Linear(embeddings_dim, embeddings_dim) value_matrix nn.Linear(embeddings_dim, embeddings_dim) query_matrix.weight.shape, key_matrix.weight.shape, value_matrix.weight.shape # torch.Size([512, 512]), torch.Size([512, 512]), torch.Size([512, 512]) # query, key and value vectors computation for each words embeddings query_vectors torch.stack([query_matrix(embedding) for embedding in embeddings]) key_vectors torch.stack([key_matrix(embedding) for embedding in embeddings]) value_vectors torch.stack([value_matrix(embedding) for embedding in embeddings]) query_vectors.shape, key_vectors.shape, value_vectors.shape # torch.Size([4, 512]), torch.Size([4, 512]), torch.Size([4, 512]) # (batch_size, num_heads, seq_len, embeddings_dim) query_vectors_view query_vectors.view(batch_size, -1, num_heads, embeddings_dim//num_heads).transpose(1, 2) key_vectors_view key_vectors.view(batch_size, -1, num_heads, embeddings_dim//num_heads).transpose(1, 2) value_vectors_view value_vectors.view(batch_size, -1, num_heads, embeddings_dim//num_heads).transpose(1, 2) query_vectors_view.shape, key_vectors_view.shape, value_vectors_view.shape # torch.Size([1, 8, 4, 64]), # torch.Size([1, 8, 4, 64]), # torch.Size([1, 8, 4, 64]) # We are splitting the each vectors into 8 heads. # Assuming we have one text (batch size of 1), So we split # the embedding vectors also into 8 parts. Each head will # take these parts. If we do this one head at a time. head1_query_vector query_vectors_view[0, 0, ...] head1_key_vector key_vectors_view[0, 0, ...] head1_value_vector value_vectors_view[0, 0, ...] head1_query_vector.shape, head1_key_vector.shape, head1_value_vector.shape # The above vectors are of same size as before only the feature dim is changed from 512 to 64 # compute the score scores_head1 torch.matmul(head1_query_vector, head1_key_vector.permute(1, 0)) / torch.sqrt(torch.tensor(embeddings_dim//num_heads, dtypetorch.float32)) scores_head1.shape # torch.Size([4, 4]) # compute the attention weights for each of the words with the other words softmax nn.Softmax(dim-1) attention_weights_head1 softmax(scores_head1) attention_weights_head1.shape # torch.Size([4, 4]) output_head1 torch.matmul(attention_weights_head1, head1_value_vector) output_head1.shape # torch.Size([4, 512]) # we can compute the output for all the heads outputs [] for head_idx in range(num_heads): head_idx_query_vector query_vectors_view[0, head_idx, ...] head_idx_key_vector key_vectors_view[0, head_idx, ...] head_idx_value_vector value_vectors_view[0, head_idx, ...] scores_head_idx torch.matmul(head_idx_query_vector, head_idx_key_vector.permute(1, 0)) / torch.sqrt(torch.tensor(embeddings_dim//num_heads, dtypetorch.float32)) softmax nn.Softmax(dim-1) attention_weights_idx softmax(scores_head_idx) output torch.matmul(attention_weights_idx, head_idx_value_vector) outputs.append(output) [out.shape for out in outputs] # [torch.Size([4, 64]), # torch.Size([4, 64]), # torch.Size([4, 64]), # torch.Size([4, 64]), # torch.Size([4, 64]), # torch.Size([4, 64]), # torch.Size([4, 64]), # torch.Size([4, 64])] # stack the result from each heads for the corresponding words word0_outputs torch.cat([out[0] for out in outputs]) word0_outputs.shape # lets do it for all the words attn_outputs [] for i in range(len(words)): attn_output torch.cat([out[i] for out in outputs]) attn_outputs.append(attn_output) [attn_output.shape for attn_output in attn_outputs] # [torch.Size([512]), torch.Size([512]), torch.Size([512]), torch.Size([512])] # Now lets do it in vectorize way. # We can not permute the last two dimension of the key vector. key_vectors_view.permute(0, 1, 3, 2).shape # torch.Size([1, 8, 64, 4]) # Transpose the key vector on the last dim score torch.matmul(query_vectors_view, key_vectors_view.permute(0, 1, 3, 2)) # Q*k score torch.softmax(score, dim-1) # reshape the results attention_results torch.matmul(score, value_vectors_view) attention_results.shape # [1, 8, 4, 64] # merge the results attention_results attention_results.permute(0, 2, 1, 3).contiguous().view(batch_size, -1, embeddings_dim) attention_results.shape # torch.Size([1, 4, 512])总结注意力机制attention mechanism是Transformer模型中的重要组成部分。Transformer是一种基于自注意力机制self-attention的神经网络模型广泛应用于自然语言处理任务如机器翻译、文本生成和语言模型等。本文介绍的自注意力机制是Transformer模型的基础在此基础之上衍生发展出了各种不同的更加高效的注意力机制所以深入了解自注意力机制将能够更好地理解Transformer模型的设计原理和工作机制以及如何在具体的各种任务中应用和调整模型。这将有助于你更有效地使用Transformer模型并进行相关研究和开发。如何学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线互联网企业工作十余年里指导过不少同行后辈。帮助很多人得到了学习和成长。我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限很多互联网行业朋友无法获得正确的资料得到学习提升故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】为什么要学习大模型我国在A大模型领域面临人才短缺,数量与质量均落后于发达国家。2023年人才缺口已超百万凸显培养不足。随着AI技术飞速发展预计到2025年,这一缺口将急剧扩大至400万,严重制约我国AI产业的创新步伐。加强人才培养,优化教育体系,国际合作并进是破解困局、推动AI发展的关键。大模型入门到实战全套学习大礼包1、大模型系统化学习路线作为学习AI大模型技术的新手方向至关重要。 正确的学习路线可以为你节省时间少走弯路方向不对努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划带你从零基础入门到精通2、大模型学习书籍文档学习AI大模型离不开书籍文档我精选了一系列大模型技术的书籍和学习文档电子版它们由领域内的顶尖专家撰写内容全面、深入、详尽为你学习大模型提供坚实的理论基础。3、AI大模型最新行业报告2025最新行业报告针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。4、大模型项目实战配套源码学以致用在项目实战中检验和巩固你所学到的知识同时为你找工作就业和职业发展打下坚实的基础。5、大模型大厂面试真题面试不仅是技术的较量更需要充分的准备。在你已经掌握了大模型技术之后就需要开始准备面试我精心整理了一份大模型面试题库涵盖当前面试中可能遇到的各种技术问题让你在面试中游刃有余。适用人群第一阶段10天初阶应用该阶段让大家对大模型 AI有一个最前沿的认识对大模型 AI 的理解超过 95% 的人可以在相关讨论时发表高级、不跟风、又接地气的见解别人只会和 AI 聊天而你能调教 AI并能用代码将大模型和业务衔接。大模型 AI 能干什么大模型是怎样获得「智能」的用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段30天高阶应用该阶段我们正式进入大模型 AI 进阶实战学习学会构造私有知识库扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架抓住最新的技术进展适合 Python 和 JavaScript 程序员。为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示Embeddings向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…第三阶段30天模型训练恭喜你如果学到这里你基本可以找到一份大模型 AI相关的工作自己也能训练 GPT 了通过微调训练自己的垂直大模型能独立训练开源多模态大模型掌握更多技术方案。到此为止大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗为什么要做 RAG什么是模型什么是模型训练求解器 损失函数简介小实验2手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…第四阶段20天商业闭环对全球大模型从性能、吞吐量、成本等方面有一定的认知可以在云端和本地等多种环境下部署大模型找到适合自己的项目/创业方向做一名被 AI 武装的产品经理。硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…学习是一个过程只要学习就会有挑战。天道酬勤你越努力就会成为越优秀的自己。如果你能在15天内完成所有的任务那你堪称天才。然而如果你能完成 60-70% 的内容你就已经开始具备成为一名大模型 AI 的正确特征了。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
企业数字化 ERP 产品动态
相关推荐
免费AI配音软件哪个好用?2026年5款文字转语音工具盘点 做短视频、影视解说、知识科普或者产品介绍,配音往往是绕不开的一步。自己录音需要准备环境、反复调整状态,找真人配音又要考虑时间和预算。AI配音工具可以把文字直接转换成语音,但不同工具的使用方式和适用场景并不一样。如果你正在寻找免费… · 2026/11/21 2:06:27
前端工程师2026年AI大模型转型指南:从页面开发者到AI应用架构师 随着AI大模型在产业各领域的落地,前端工程师迎来了转型新风口。文章指出,前端无需彻底抛弃原有技能,通过找准方向、补齐短板,可快速实现从“页面开发者”到“AI应用架构师”的跃迁。文章强调前端的核心竞争力在于模型落地和用户体… · 2026/11/13 22:13:44
前线部署工程师:人工智能时代的客户价值交付 最近刷招聘软件,一个岗位越来越频繁地蹦出来:
FDE——前线部署工程师 诚然,2026年的就业市场中,冠以FDE头衔的岗位大幅增长。 字节、阿里、腾讯等大厂都设了这个岗位,薪资被传得很高,20k起步,4… · 2026/11/20 10:20:27
吴中电工证怎么考取的良心建议:外省证能转吗?实操流程全解析 吴中电工证怎么考取的良心建议:外省证能转吗?实操流程全解析 之前考的证在外省能不能转过来?这是很多在外地打拼、回老家发展或准备换工作的人最关心的问题。尤其是像吴中电工证这样的特种作业操作证,直接关系到能否在岗位上正常执业。今天我结合自己多年… · 2026/11/21 2:06:23
湖北省电工证年检怎么弄?含金量高不高? 湖北省电工证年检怎么弄?含金量高不高? 实操考试心里没底怕挂科,这是很多准备参加湖北省电工证年检的学员最真实的心理状态。尤其是像你这样,已经从业多年,但证件快到期了,想通过年检继续干下去的人,心里难免会有忐忑。毕竟,电工证的含金量在行业里是… · 2026/11/21 2:06:23
电工证复审核需要什么,真实经历告诉你怎么一步步搞定 电工证复审核需要什么,真实经历告诉你怎么一步步搞定 你是不是也担心自己学历不高,电工证复审根本报不上名?我之前带过一个信阳的劳务班组,班里有个老电工,电工证都快到期了,天天愁眉苦脸地问我能不能续审。其实很多人以为学历高才能报考,但现实是:… · 2026/11/21 2:06:23
广州市电工证办理流程怎么走才不白花钱 电子证书怎么拿 广州市电工证办理流程怎么走才不白花钱 电子证书怎么拿 怕考不过白交培训费?广州市电工证办理流程不是你想象的那么简单,特别是现在越来越多人关注电子证书的获取方式。今天咱们不绕弯子,直接说干货,让你少走弯路,不花冤枉钱。… · 2026/11/21 2:06:23
庆阳煤矿电工证办理真实经历:别被中介坑了,教你一步步搞定 庆阳煤矿电工证办理真实经历:别被中介坑了,教你一步步搞定 你是不是也遇到过这种情况?想办理庆阳煤矿电工证,网上一搜信息五花八门,不知道该相信哪个,生怕被中介骗钱、耽误时间?其实,我也有过这样的经历,现在就跟你分享我的真实经历,帮你避坑。… · 2026/11/21 2:06:23
电工证复审核需要什么 通过率揭秘你必须知道的避坑指南 电工证复审核需要什么 通过率揭秘你必须知道的避坑指南 你是不是也遇到过这种情况:电工证快到期了,不知道去哪复审,生怕被中介骗钱?这种焦虑感我太懂了,我自己当初也是在郑州跑了几家机构,才搞清楚电工证复审核需要什么,到底要准备什么材料。别急,这… · 2026/11/21 2:05:23
长春初级电工证怎么考?通过率揭秘全在这里 长春初级电工证怎么考?通过率揭秘全在这里 之前考的证在外省能不能转过来?这几乎是每个想从事电工工作的人都会问的问题。特别是那些在外地打拼多年、手里握着一张“外地电工证”的人,到了长春想继续干这一行,第一反应就是“我的证能用吗?”。今天我们就… · 2026/11/20 16:18:19
国内电工证报考条件与考试时间 低压电工证怎么考?学历不高也能报名,官方报名入口全在这 你是不是经常听说“电工证是入行门槛”,但又担心自己学历不够、经验不足,根本报不了名?别急,今天就带你从零了解【国内电工证】的报考流程、考试内容,还有怎么在 官方报名入口… · 2026/11/20 18:25:07
电工作业时如何断电?电子证书到底能不能全国通用? 电工作业时如何断电?电子证书到底能不能全国通用? 实操考试心里没底怕挂科,特别是电工作业时如何断电这一操作,不仅关系到你能不能拿到证书,更关系到以后能不能顺利上岗。很多人觉得这不过就是“断个电”,但其实这里面的门道可不少,稍有不慎就可能出错… · 2026/11/20 17:56:32
电工证征求意见2026河南最新政策怎么应对?学历不高也能考! 电工证征求意见2026河南最新政策怎么应对?学历不高也能考! 你是不是也担心自己学历不高, 怕报不上名 ?尤其是像焦作水利工程这样的从业者,常年在一线作业,但证书却成了晋升、转岗、接项目的关键门槛。 2026河南最新政策… · 2026/11/21 0:00:17
电工证征求意见怎么填?含金量高不高?济源电工朋友看过来 电工证征求意见怎么填?含金量高不高?济源电工朋友看过来 不知道去哪报名怕被中介坑,电工证征求意见填错了不仅白费钱,还可能影响后续考试和工作。最近很多济源的电工朋友都在问: 电工证征求意见怎么填… · 2026/11/21 0:00:17
房建企业特种工考前押题怎么找?别让培训费打了水漂 房建企业特种工考前押题怎么找?别让培训费打了水漂 怕考不过白交培训费?房建企业特种工考试难度高、题型多,很多人报名后才发现没有合适的复习资料,最终考试落榜,白白浪费了时间和金钱。别担心,掌握【考前押题】的技巧,能让你事半功倍,顺利通过考试。… · 2026/11/21 0:00:17
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/20 10:25:45
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/20 10:25:54
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/20 10:26:03