数字如何变成意义How to Train Your GPT带你搞懂词向量Embeddingsking − man woman queen【免费下载链接】how-to-train-your-gptBuild a modern LLM from scratch. Every line commented. Explained like we are five.项目地址: https://gitcode.com/gh_mirrors/ho/how-to-train-your-gpt《How to Train Your GPT》是一个带你从零手写语言模型的开源教程而**词向量Embeddings**正是语言模型学会理解单词的第一步把 token 编号 9246 变成 768 个数字组成的向量让意思相近的词在意义空间里彼此靠近。本文用它最著名的例子king − man woman queen讲清楚数字凭什么能拥有意义。为什么不能直接给模型用词的编号分词Tokenization之后每个词都变成了一个任意整数 IDcat是 9246dog是 4821the是 279。问题在于9246 和 4821 只是标签不代表任何关系。9246 比 4821 大但cat并不比dog更大给编号做加减毫无意义king(9246) queen(9247) 18493这个数字不对应任何词模型没法从一个孤立的整数里学到相似词向量Embedding就是解决这个问题把 ID 变成一串连续的小数。意思相近的词向量也相近cat → [0.023, -0.451, 0.789, ..., -0.102] dog → [0.019, -0.443, 0.795, ..., -0.098] ← 非常接近 the → [0.891, 0.112, -0.334, ..., 0.567] ← 天差地别词向量表一栋 768 层的巨型公寓楼 章节里用了个绝妙的比喻每个词都住在一栋768 层768 维的大楼里。cat住在 3 层东、15 层北……dog住在隔壁附近——因为它们都是动物car住在大楼的另一个角落——离它们很远Embedding 层本身没有任何复杂运算它就是一张查表。输入 token ID返回表里那一行向量。输入[1169, 3797]The cat输出就是两个 768 维向量直接送进后面的注意力层。顺带一提这张表往往是大模型里参数最多的部件之一GPT-2 是 50257 个词 × 768 维 ≈ 3860 万个数字GPT-3 更是 6 亿多。这也是权重共享weight tying技巧的由来——输入和输出共用同一张表省下一半参数。king − man woman queen向量算术的魔法 这是 Embeddings 最有名、也最魔法的例子king − man woman ≈ queen它为什么成立因为king的意义可以拆成两个分量分量与谁共享 王室身份queen、prince、throne 男性man、he、boy减去man就去掉了男性这个方向加上woman补上了女性方向剩下的就是王室 女性——正好落在queen附近。关键点这不是任何人手动写进模型的。模型在读了海量句子后自己发现改换性别相当于在向量空间里沿一条直线平移。这种规律是从语言数据里自然涌现出来的。词向量是怎么被训练出来的既然向量一开始是随机的意义从何而来分四步随机初始化每个词先随机分配 768 个小数。此刻cat和dog的距离和cat与democracy一样——全是噪声。训练信号模型看到 The cat sat on the mat要预测下一个词。预测错了loss损失就高。梯度下降微调反向传播把一小撮信号传回词向量表比如cat的第 5 维 0.0003。每一步的改动都极其微小。亿级 token 后涌现结构cat渐渐靠近dog、pet、feline远离car、photosynthesis。768 维空间里甚至自发形成方向——有的方向管有生命/无生命有的管大/小有的管正面/负面。下面这条真实训练曲线就是证据loss 一路下降说明词向量正从随机噪声变得越来越有含义30 秒亲手体验词向量import torch, torch.nn as nn emb nn.Embedding(1000, 4) # 1000 个 token每个 4 维 vectors emb(torch.tensor([[12, 45, 678]])) # 查表拿到 3 个向量 print(vectors[0, 0].tolist()) # token 12 目前是随机数训练后才代表意义学习资源清单 资料说明chapters/03_embeddings.md主章节公寓楼比喻 完整注释代码explanations and examples WIP/embeddings.md独立讲解向量算术、Word2Vec 历史、权重共享notebooks/03_embeddings.ipynb可交互 Notebook边跑边学main.py包含 Embedding 层的完整可运行脚本chapters/11_glossary.md术语表复习权重共享等概念一句话总结词向量就是单词在意义空间里的坐标。它从随机噪声出发靠无数次预测下一个词的微小纠错最终长出 king − man woman queen 这样的结构——意义不是被写进去的而是被训练出来的。【免费下载链接】how-to-train-your-gptBuild a modern LLM from scratch. Every line commented. Explained like we are five.项目地址: https://gitcode.com/gh_mirrors/ho/how-to-train-your-gpt创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
企业数字化 ERP 产品动态
相关推荐
生产环境接口404根因排查:从网关到K8s的链路分析与实战复盘 业务群里炸开锅的时候,我正端着一杯没喝完的咖啡赶回工位。事情很直接:生产环境某个核心查询接口突然开始大范围返回404,监控面板上错误率曲线垂直拉升,用户端图片加载不出来,页面一堆空数据。 说实话,做后… · 2026/9/26 23:09:33
苏州新区网站制作避坑指南:3个关键决策搞定最佳实践 苏州新区网站制作避坑指南:3个关键决策搞定最佳实践 不会代码想做网站?别慌。在苏州新区,每年有数千家中小企业面临这个难题。很多人以为建站必须招程序员,其实只要选对技术路线,用SaaS或开源CMS,一周内就能上线。关键在于理解不同方案的底层逻… · 2026/9/26 23:09:19
Claude Code模板实战:规则、命令与工作流的分层设计指南 1. 从一次失控的AI协作开始:模板为什么是必需品如果你用过Claude Code这类终端里的AI编程工具,大概率经历过类似场景:第一次在一个老项目里启动它,你满怀期待地说"帮我看一下这个模块的重构方案",结果它直接… · 2026/9/26 23:49:31
英文论文怎么免费查AI率?能检测英文文本的工具推荐! 英文论文怎么免费查AI率?能检测英文文本的工具推荐!
英文论文刚完成,中文检测网站却不给提交,或者把一段英文粘进去也看不懂结果该怎样解释。先选明确支持英文的工具,再保留完整段落检测。Scribbr免费AI检测适合无需注… · 2026/9/26 23:49:31
PXE网络装机实战:从零搭建UEFI/BIOS双架构批量部署环境 我们单位机房日常装机量不小,台式机加笔记本一年少说一百多台。以前都是拿U盘一台一台装,系统版本还得对应好,装完还要处理驱动和软件。后来试了试PXE网络装机,说实话折腾了两天,踩了不少坑,但一旦环境跑通… · 2026/9/26 23:49:25
网站前台做哪些工作?改需求拖一周?选对团队哪家好的安全实战指南 网站前台做哪些工作?改需求拖一周?选对团队哪家好的安全实战指南 改个按钮颜色,建站公司说要排期一周?后台改个文案,前端页面半天不生效?这种“改需求拖一周”的噩梦,90%的中小企业主都经历过。很多老板问: 网站前台做哪些工作… · 2026/9/26 23:49:25
Unity与UE5实战对比:选型、切换踩坑与解决指南 立项的时候,技术群里几乎每周都有人问一遍“Unity和UE5到底选哪个”。我以前习惯直接回一句“看项目”,后来被问得多了,干脆把两边都实际拿来做过完整项目,从原型、打包到上线踩了一遍,才敢说有点发言权。这篇东西不是… · 2026/9/26 23:49:25
AI落地别只靠提示词:工程机制、幻觉治理与成本边界 上周和一位专门做AI落地交付的老朋友约了顿咖啡。他这些年给制造、零售、金融几个行业都捣鼓过大模型应用,从智能客服、文档抽取到私有知识库,算是一线工程兵里的老手。三个小时聊下来,我后背是真的有点发凉——倒不是听到了什么惊天秘密&… · 2026/9/26 23:49:25
数据库课后习题答案别硬背:当测试用例集刷,效率翻倍 简介:万常选版《数据库原理与设计》课后习题答案资源,覆盖第2至6章及第9章,适合正在学习关系模型、数据库建模、关系数据理论与模式求精的本科生、自学者作为复习与自测材料。压缩包共7个文件,含3个doc参考答案、2个sql示例脚本、… · 2026/9/26 0:00:21
OpenClaw 替代品?Hermes Agent 踩坑实录:macOS 飞书接入 TaoToken 配置 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/26 0:00:40
向下兼容与向上兼容:接口设计中的兼容性策略与工程实践 一次版本升级事故,是很多团队绕不过去的坎。线上环境里,服务端明明已经上线了新版接口,老的移动端还在照着旧文档传参数。请求一到网关,校验直接拒绝,用户操作失败,客服群炸了锅,开发群里开始互… · 2026/9/26 0:00:46