大模型训练数据机制：高质量语料、数据评估与合成数据

简介阿里研究院《2024大模型训练数据白皮书》面向大模型研发、数据治理、产业政策与行业研究人群围绕训练数据的价值、类型、质量评估和供给机制提供系统梳理。正文从数据对大模型训练的基础作用切入辨析个人信息依赖、中文语料短缺等常见误解并逐层讨论语言模型与多模态模型的数据特征、高质量数据标准、合成数据在预训练和对齐语料中的作用、训练数据合规治理以及中美数据生态与阿里巴巴的实践探索。资源包包含1个PDF文件约11.93MB目录清晰适合按章节检索和团队内部交流。已有323人学习读者可借此建立大模型训练数据的整体认知框架理解高质量语料供给、合成数据应用与开放务实治理思路。1. 数据才是那条更粗的腿为什么同一套架构换一批语料就像换了一个模型从第一代到第四代大语言模型架构层面的改动其实没想象中大真正拉开差距的是训练数据——从几GB未过滤的原始网页到几十GB人工过滤数据再到从几十TB原始语料中筛选出的几百GB高质量语料最后叠加人类标注的对齐数据。参数规模是“容器”容器里装什么、怎么装决定了模型能做什么。很多人把注意力放在算力和参数上但数据才是那条更粗的腿。这份白皮书把“数据”从一句口号拆成了可被分析的机制语料分几个阶段、每阶段要什么特征、质量怎么评估、供给不足时怎么用合成分身补。搞懂这些机制才能理解大模型能力的边界到底由什么决定也才能在“高质量语料荒”的讨论里不被似是而非的结论带偏。2. 训练数据的分类机制预训练要“广”、对齐要“齐”、行业要“专”算法、算力、数据是支撑大模型发展的三大基石但三者的角色并不对等。算法决定模型能学什么算力决定能学多快而数据决定能学到什么程度。这一章拆解模型到底需要什么类型的数据以及不同训练阶段为什么对语料特征有截然不同的要求。把这件事搞清楚后面讨论“高质量”和“合成数据”才有参照系。2.1 三阶段训练的语料分工为什么预训练要“广”、对齐要“齐”大语言模型的训练过程分三段预训练、监督微调、基于人类反馈的强化学习。后两段统称对齐。三段的语料特征完全不同用一句话概括预训练要“广”对齐要“齐”行业微调要“专”。预训练阶段是无监督学习模型在这一步大量吸收世界知识构建基础能力理解客观世界里的规律。语料来源包括网页、书籍、新闻、论文期刊、对话文本、代码等形式核心特征是“广”——覆盖面越宽模型对世界的理解越完整。这一步的语料数量大、种类杂不需要人工逐条标注靠的是规模覆盖。监督微调阶段换了逻辑。标注人员设计问题、编写正确答案把例题喂给模型希望模型在没见过的任务上“举一反三”。这步的核心不是覆盖宽度而是“齐”——问答对的质量、覆盖面、指令多样性要齐整。一条错漏百出的标注比十条普通语料对模型的伤害还大因为模型会把它当作范本记忆。第三段基于人类反馈的强化学习训练目标是让模型的价值观与人类对齐。人类对模型的回答进行打分、排序模型从中学习“怎么说更好”。这步同样依赖“齐”的高质量反馈但比监督微调多了一层偏好信号——不只是对错还有好坏。如果模型微调后部署到具体行业比如工业、金融、医疗就需要该场景的专业知识做预训练和对齐语料特征是“专”。行业数据库、专业文档、专业网站这些素材深度够了才能支撑垂直场景。用一个表格把四段的差异摆清楚训练阶段语料来源核心特征学习目标质量要求预训练网页、书籍、论文、代码广构建世界知识基础规模与多样性优先监督微调人工编写的问答对齐泛化到未见过的任务单条质量优先强化学习人类的打分和排序齐对齐人类偏好反馈一致性优先行业微调行业数据库、专业文档专适配垂直场景专业深度优先这里藏着一个反直觉的取舍预训练阶段的数据量最大但质量要求反而比后两段宽松。原因在于预训练是无监督的模型从海量语料里自己学规律个别脏数据能被规模稀释对齐阶段的数据量小每一条都会被模型反复学习单条质量的影响被放大。所以“高质量”在不同阶段不是一个标准而是一个随训练目标移动的标尺。2.2 多模态数据的关联结构图像-文本对到底在学什么大语言模型之外多模态模型把图像、视频、语音等模态的数据也纳入了训练。这套思路模拟人脑处理信息的方式把各种感知模态结合起来做更全面的理解和生成。多模态训练的两类核心数据是图像-文本对和视频-文本对。图像-文本对是一张图像配一段描述性文本模型从中学习两件事像素之间怎么组成有意义的画面文字和图像内容之间怎么对应。视频-文本对把时间维度加进来一段短视频配一段事件描述模型不仅要学单个画面还要理解视频里的时间序列和动态变化。这两类数据的难点不在数量在关联质量。图文对里的文本描述如果和图像内容对不上模型学到的就是错误关联视频描述如果只说了开头画面、没覆盖后续变化模型对时间序列的理解就会断片。所以多模态数据的清洗比纯文本更麻烦要同时检查两个模态的内容和质量。从训练阶段看多模态数据在预训练阶段需要大规模、多样化的配对数据来建立跨模态的基础关联在对齐阶段需要高质量的标注配对来修正理解和生成的偏差。一个常见的误解是“多模态模型只需要多模态数据”实际上多模态模型的语言能力同样依赖文本语料模态之间是叠加关系不是替代关系。2.3 中文语料的真实短板规模可补价值观难替聊中文大模型绕不开一个数据全球网站里英文占59.8%中文只占1.3%。这个差距看起来触目惊心但白皮书给了一个更细致的判断中文语料“量”的短缺有解决方案真正卡脖子的是“质”里的一种特定类型。规模层面的短缺有两条路可以补。一是世界知识里的客观事实用英文还是中文表达原理是一致的机器翻译质量有保障的前提下可以弥补这部分中文语料的缺少。二是在训练技术上引入新方法比如合理安排不同语言类型的训练顺序让模型学到供给相对较少语言的丰富特征。这两条路说明规模不是决定性影响因素。但有一类中文语料没法靠翻译补——反映中式价值观的内容。大模型是概率分布模型数据来源分布会让模型具备与之相似的人类意志。训练里加入更多代表本土价值观的语料模型才能更好地理解和反映中文使用者的文化背景和价值取向。这类语料翻译不了因为即使翻译质量有保障仍会引入源语言的偏见体现的还是源语言的价值观。文言文、古汉语、电子书籍等反映优秀传统文化的内容以及主流媒体发布的能反映本土价值观的内容都属于这类语料。但相关环节的短板很明显积累机制不完善古籍数字化率不到30%开放共享和开发利用不足训练过程中的算法与编码系统建设也需要持续投入。规模的坑能填价值观语料的坑要花更大力气。3. 高质量数据的三重不确定性为什么“好数据”无法被前置定义上一章说的是“要什么类型的数据”这一章要回答“什么算好数据”。这个问题看起来简单但白皮书给了一个不太讨喜的结论高质量数据没法用一套前置的客观标准来定义。这不是在回避问题而是说高质量的标准会随着模型能力需求、语料形态和数据搭配方式三个维度不断漂移。下面把这三重不确定性拆开来看。3.1 三重不确定性类型、形态、搭配第一重不确定性来自语料类型。需要什么类型的语料是由人类对模型能力的需求决定的而能力需求又随着模型要完成的任务不断演变。回溯基础大模型的发展2020年左右对话连贯性是重点对话文本就被视为最重要的高质量数据技术路线演进后通用上下文理解成了重点书籍和科研论文又被视为高质量数据提升它们在训练语料里的占比可以增强模型捕捉长距离依赖的能力再往后对推理能力有帮助的语料更受重视代码数据里涉及大量条件控制信息教材里涉及详细的数学推理过程和逻辑链这两类就成了新的高质量数据。到了行业模型语料类型更难一一列举——视觉相似性图片构成的匹配对可以用于广告场景训练人类驾驶员对稀有事件的应对数据可以用于自动驾驶训练。类型在变标准就没法固定。第二重不确定性来自语料形态。同一类语料形态会不断演化。合成数据和数据增强技术提升了数据利用的可能性领域知识生成可以把模型难以直接使用的原始数据加工成可用的知识类数据自动驾驶领域的仿真数据可以生成更多样化、不同视角的物理世界弥补真实世界对稀有事件观测不足的问题。另一方面模型长上下文建模能力增强后对代码和教材的需求有了质的变化——代码数据从执行单一任务扩展到仓库级教材从中小学级别拓展到大学级别。形态在长标准就得跟着长。第三重不确定性来自不同类型数据之间的有效搭配。不同类型的数据对模型能力的提升侧重点不同各来源的配比不同会影响模型的泛化能力和下游任务表现。这里面有两个环节数据混合调整不同来源数据的配比数据课程安排不同来源数据用于训练的顺序。混合环节可以在训练的不同阶段设定配比在实践中不断试出最优组合。有研究者在微调阶段从专业问答社区和内容社区精选高赞语料配合手工整理的问答对用“少而精”的数据在模型对齐能力上取得了不错的效果。课程环节是为了让模型更好地学习某项技能而对语料学习顺序做探索从基础技能到目标技能组织预训练语料比直接从专注目标技能的语料库学习更有效。三重不确定性叠在一起结论很清楚高质量不适合被前置的客观标准定义。“高质量”更多是一种主观判断标准取决于模型的应用目的类型会因时而动判断会因人而异效果要因效而定。所谓“高质量标准”的制定至多是对同类型数据在质量维度评估提供一种参考对模型训练的价值有限。3.2 评估的三个维度质量、规模、多样性对同类语料的质量评估通常从质量、规模、多样性三个维度出发。三个维度的判断逻辑完全不同混在一起谈容易翻车。质量维度分两种情况。能从来源直接判断的看筛选机制新闻、论文、开源项目经过专业标准筛选百科内容经过专注编辑者筛选对话内容经过用户互动筛选素材平台上的图片经过设计师在光照、构图、艺术性上的专业标注。这类语料的质量判断可以前置因为筛选过程本身就是信号。不能从来源判断的就靠评估模型先人工标注少量样本把可读性、帮助性、安全性等标准变成标签训练一个评估模型再对全量语料打分。常见的实现思路是这样的# 评估模型两阶段人工定标准机器做放大 # 第一步人工标注少量样本 human_labeled sample(web_pages, n2000) labels human_annotate( human_labeled, criteria[readability, helpfulness, safety] ) # 第二步用带标签样本训练轻量评估模型 from sklearn.ensemble import GradientBoostingClassifier eval_model GradientBoostingClassifier() features extract_features(human_labeled) # 文本长度、标点比、重复率、词频分布等 eval_model.fit(features, labels) # 第三步对全量网页打分按阈值筛选 all_probs eval_model.predict_proba(extract_features(web_pages))[:, 1] high_quality_corpus web_pages[all_probs threshold]n2000是人工标注的起步量标得越多评估模型越准但成本也越高criteria换成别的场景要跟着换网页场景看可读性和帮助性代码场景可能要看语法正确性和注释完整度extract_features决定评估模型的上限重复率和文本长度是最基础的两个特征threshold不是固定值要跟后续的数据混合配比联动。注意评估模型本身也会引入偏差。人工标注的样本如果代表性不够评估模型对全量语料的打分就会有系统性偏移所以样本抽样要尽量覆盖不同来源和不同主题。规模维度要回到缩放法则。模型参数或计算量按比例扩大时性能也成比例提升但参数规模上去之后需要更多数据来支撑。这里有个容易踩的坑规模不是越大越好高信息密度的规模才有意义。一个大型网页抓取数据集有400TB包含数十亿网页但未经清洗清洗掉噪声和重复内容后只剩305GB的子集评估下来反而是清洗后的子集训练出的模型更好。这组对比同时说明了清洗的价值和规模崇拜的失效。多样性维度涉及公平性和安全能力两个层面。从网络采集的信息对弱势群体存在不平衡可能加剧偏见需要通过审查和筛选保证分布的广度和均衡性。安全能力建设上真实世界里的隐患往往是偶发事件与其把“不良信息”一删了之不如打上安全标签保留下来反而能提升模型对安全风险的识别能力。还有一个不好量化的点部分领域模型的训练语料涉及不同行业的专业知识缺少统一的判断标准往往要在模型训练过程中不断检验质量高低。这类语料连评估模型都帮不上忙只能靠下游效果反向验证。3.3 高质量数据的失效边界幻觉与 Garbage In Garbage Out高质量数据能提升模型能力但它的作用有边界。最典型的边界是幻觉——即使训练各阶段的语料都满足真实性、准确性、客观性、多样性的要求仍不能完全避免模型“一本正经胡说八道”。原因在模型本身的性质。大模型本质是概率模型基于前文预测下一个词出现的概率是一种“词语接龙”下一个词不是100%确定的。高质量语料可以让模型预测的概率分布尽可能逼近真实数据的分布通过优化算法调整参数让训练集上的损失函数最小从而大幅降低幻觉概率但只要模型还在做概率采样就有出错的可能。另一条边界在低质量数据的破坏性上。用错误数据训练模型会记忆有偏差的信息发生事实性错误用重复语料训练模型会对特定类型的示例产生偏见降低生成结果的多样性造成能力显著下降。这就是经典的 Garbage In Garbage Out。没有经过严格质量筛选的大量社交媒体对话、用户生成内容就是典型的低质量语料来源。这里有个细微但重要的区分高质量数据的作用是“拉高上限”不是“保底”。它能提升模型准确性、稳定性、鲁棒性和泛化能力但没法保证模型不犯错。理解这一点就不会把“清洗数据”当成解决幻觉的万能药——清洗要做安全机制、推理侧约束、对齐训练同样要做。4. 合成数据的生成机制从分布建模到对齐加速器真实数据的供给有天花板。书籍、论文这类高质量语言数据集按某些机构的估算可能在2024年前后就接近耗尽。一边是模型对数据的需求还在涨另一边是能用的存量语料见底合成数据就是在这个背景下被推到台前的。这一章拆解合成数据的生成路径、在预训练和对齐两个阶段的不同角色以及它自身带来的风险。4.1 合成数据的定义与生成路径合成数据是通过算法和数学模型创建的。做法是先建模真实数据的分布然后在该分布上采样创建出新数据集模拟真实数据里的统计模式和关系。打个比方合成数据像数据的“替身演员”发挥补充或替代真实数据的作用。但如果生成过程设计不当合成数据也可能缺乏保真度对客观世界的模拟出现偏差。生成方法分两大类。第一类基于真实数据集构建建立模型捕获真实数据的分布特性和结构特征刻画数据里的多变量关系和相互作用然后从该模型中抽样或生成合成数据。如果模型能很好地代表真实数据合成数据就具有与真实数据相似的统计特性。以文本本文还有配套的精品资源点击获取