首页/新闻资讯/正文详情

词表扩充相关细节

发布时间:2026/9/23 7:17:53 来源:云帆数科 栏目:资讯中心
词表扩充相关细节
词表扩充学习笔记一、词表基础1. 词表是什么vocab.txt 汉字 → id 的对照表行号 − 1 id如我在第 2770 行 → id 2769查不到的生僻字统一映射到[UNK]id 100不报错2. 词表不是越大越好大词表覆盖率高、序列短但 embedding 参数多151936×768 ≈ 1.17 亿 vs 21128×768 ≈ 1622 万、长尾词训练不充分词表大小 ≠ 模型效果选模型看任务实测指标二、词表与权重的绑定铁律embedding 矩阵形状 (vocab_size, hidden_size)行数必须等于 config 的 vocab_sizebin 行数 ≠ config vocab_size → size mismatch加载即崩同一字在不同模型里 id 不同 →词表和模型严格绑定不可混用三、扩充词表核心流程1. 什么时候需要扩数据统计发现业务字频繁变[UNK]如审核场景的异体字。不需要就别扩如 URL 类文本基本被 21128 覆盖2. 标准四步顺序不能反tokenizerAutoTokenizer.from_pretrained(SRC)# ① 加载自洽modelAutoModelForSequenceClassification.from_pretrained(SRC)# ① 加载自洽tokenizer.add_tokens(new_words)# ② 加词短暂不自洽model.resize_token_embeddings(len(tokenizer))# ③ 扩容恢复自洽# ④ 微调把随机新行训练出含义3. resize 内部干了三件事新建 (21295, 768) 矩阵前 21128 行原样拷贝预训练知识保留后 167 行随机初始化N(0, 0.02²) 同步更新config.vocab_size4. 不自洽窗口重要概念① 加载后 21128 21128 自洽 ✅ ② add_tokens后 21128 ≠ 21295 不自洽 ⚠️必经中间态 ③ resize后 21295 21295 恢复自洽 ✅ ④ 训练前必须关上这个窗口否则新词 id 越界 → 崩5. 追加 vs 重排✅ 末尾追加旧 id 不变旧权重全保留❌ 中间插入/删除/重排id 全错位预训练知识报废等于重训

相关推荐

光热电站优化调度与Matlab实现
光热电站优化调度与Matlab实现

1. 项目背景与核心价值在能源结构转型的大背景下,光热电站因其独特的"光-热-电"转换特性,正成为综合能源系统中的关键一环。与传统光伏发电相比,光热技术不仅能输出电能,还能通过熔盐储热系统实现能量的时移&#xff0c… · 2026/9/23 7:17:53

3步搞定我的位置海拔高度查询,这份避坑指南能救你
3步搞定我的位置海拔高度查询,这份避坑指南能救你

3步搞定我的位置海拔高度查询,这份避坑指南能救你 官方文档翻了三遍还是没找到核心逻辑?别慌,直接看这篇避坑指南。很多做水利工程的兄弟卡在数据获取上,其实底层逻辑很简单。… · 2026/9/23 7:17:47

ESP32C3+PCM5102A打造低成本网络音频终端:I2S与Arduino流媒体播放实践
ESP32C3+PCM5102A打造低成本网络音频终端:I2S与Arduino流媒体播放实践

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/23 7:17:40

e11路公交车路线背后的性能优化陷阱:老架构师的血泪避坑指南
e11路公交车路线背后的性能优化陷阱:老架构师的血泪避坑指南

e11路公交车路线背后的性能优化陷阱:老架构师的血泪避坑指南 官方文档太长,翻半天抓不住重点?别急,这就像查【e11路公交车路线】,你只想看几站路,结果甩给你一张从始发站到终点站的完整时刻表,还得自己算换乘。这种“信息过载”在编程里叫认知负… · 2026/9/23 7:59:13

Java实现C语言编译器:从词法分析到JVM字节码的完整实践
Java实现C语言编译器:从词法分析到JVM字节码的完整实践

简介:这份资源是面向计算机专业学生与编译原理学习者的课程设计项目,主题为基于 Java 实现一个可处理 C 语言子集的 LL(1) 文法编译器,适合正在做课程设计或希望动手理解编译流程的读者。压缩包共 67 个文件,约 210KB,… · 2026/9/23 7:59:13

企业级 GPS 定位管理平台架构与能力解析:面向集成项目的终端全生命周期管控底座
企业级 GPS 定位管理平台架构与能力解析:面向集成项目的终端全生命周期管控底座

摘要:本文解析一套面向系统集成商的一站式 GPS 定位管理平台,重点阐述其终端接入、协议网关、流处理、多模存储、业务服务、应用展示六层解耦架构,以及覆盖设备注册接入、实时监控、异常处置、远程运维、数据归档的终端全生命周期管控闭环。同… · 2026/9/23 7:59:07

paly实战避坑:3招搞定API变更,图解原理全解析
paly实战避坑:3招搞定API变更,图解原理全解析

paly实战避坑:3招搞定API变更,图解原理全解析 昨天刚把项目部署上去,一跑起来直接崩了。报错信息里全是 paly 相关的接口调用失败。我盯着屏幕愣了三秒,心里咯噔一下:又是版本升级后 API 全变了。… · 2026/9/23 7:59:07

Windows下TPshop部署实战:ThinkPHP 5.0环境配置与常见坑
Windows下TPshop部署实战:ThinkPHP 5.0环境配置与常见坑

第一次在Windows上部署TPshop时,我天真地以为把源码解压、配个数据库就能直接访问。结果被白屏、404、Redis连接失败轮番教育了一下午。后来把整个环境链路通读了一遍,才明白TPshop这套基于ThinkPHP 5.0的商城系统,部署的难点根本不在源码本身… · 2026/9/23 7:59:01

水电工入门避坑指南:面试必问的5个致命错误与修复方案
水电工入门避坑指南:面试必问的5个致命错误与修复方案

水电工入门避坑指南:面试必问的5个致命错误与修复方案 刚背完电工基础公式,转头面对真实项目就抓瞎?很多应届生在面试中被问得哑口无言,核心原因不是知识点没学透,而是缺乏从理论到实践的映射能力。水电工入门看似门槛低,实则细节魔鬼,尤其是现场接线… · 2026/9/23 7:59:01

3招搞定手机怎么下载微信面试难题实战项目解析
3招搞定手机怎么下载微信面试难题实战项目解析

3招搞定手机怎么下载微信面试难题实战项目解析 面试被问“手机怎么下载微信”背后的原理,90%的人答不上来。别笑,这看似弱智的问题,实则是考察你对移动应用分发机制、安全校验及网络协议理解的试金石。我带过不少校招新人,他们背了八股文,却连一个A… · 2026/9/23 0:00:03

你有新短消息请注意查收:3个新手避坑指南搞定消息系统选型
你有新短消息请注意查收:3个新手避坑指南搞定消息系统选型

你有新短消息请注意查收:3个新手避坑指南搞定消息系统选型 面试被问“高并发下如何保证消息不丢失”,你张口就是“用Redis”,结果面试官追问“如果Redis宕机了怎么办”,你瞬间卡壳。这种场景太常见了,很多新手在背八股文时,只记住了技术名词… · 2026/9/23 0:00:29

Win7无线热点配置工具源码解析:解决API失效的3个实战技巧
Win7无线热点配置工具源码解析:解决API失效的3个实战技巧

Win7无线热点配置工具源码解析:解决API失效的3个实战技巧 Win7无线热点配置工具在Win10/11上跑不动?不是你的问题,是版本升级后 API 全变了。很多老项目里的 netsh wlan… · 2026/9/23 0:00:36

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码