大模型训练数据白皮书解读：高质量语料、合成数据与治理趋势

简介《阿里研究院2024大模型训练数据白皮书》面向大模型研究者、数据工程从业者及关注数据要素与合规治理的读者系统梳理训练数据对大模型发展的支撑作用及供给难题。全文围绕训练数据类型与特征、高质量数据的标准与作用、合成数据的定义生成方法及在预训练和对齐中的价值展开并讨论训练数据治理、中美训练数据生态差异以及阿里巴巴集团的实践探索适合用于技术调研、方案论证与政策理解。资源包共1个PDF文件压缩后约11.93MB单文件即完整白皮书便于检索与引用。已有323人学习目录从数据重要性、模型数据类型、高质量数据、合成数据、治理思考到政府与社会协同生态逐层推进并对“大模型不依赖个人信息”“中文语料短缺并非关键制约”等常见误解作出辨析可帮助读者快速建立训练数据供给与治理的整体框架。1. 白皮书里的反直觉结论大模型训练其实不靠你的个人数据先说一个被反复误读的事实一份 2024 年发布的大模型训练数据白皮书里直接给出了一个与大众直觉相反的判断——大模型在训练阶段并不依赖用户个人信息。同一份材料引用的第三方测评显示超过 60% 的受访者把“盗取、泄露个人隐私数据”误选为大模型最主要的风险点。这个数字背后的认知错位值得每一个从业者停下来想一想。这份白皮书讨论的不是某个模型的发布而是把“数据”这条主线完整拆开训练需要什么类型的数据、高质量到底怎么定义、供给不足时合成数据能顶多少、治理和生态又该怎么配合。对做模型、做数据、做合规的人来说它更像一张地图标出了哪些路已经走通、哪些还是断头路。读懂它能少走不少弯路。2. 数据需求的演变从“广”到“齐”再到“专”的三段式2.1 预训练要“广”对齐阶段要“齐”白皮书把大语言模型的训练过程切成三段预训练、监督微调SFT、基于人类反馈的强化学习RLHF后两段合称“对齐”。三段的语料特征被概括为三个字这个概括很精炼值得展开。预训练阶段的语料是各种类型的世界知识包括网页、书籍、新闻、论文期刊、对话文本、代码。这一阶段的目标是让模型构建基础能力、理解客观世界规律所以语料特征是“广”。SFT 阶段由标注人员设计问答、编写正确答案把例题投喂给模型希望模型在没见过的任务上举一反三提升泛化能力RLHF 阶段则由人类对模型回答打分排序让模型知道“怎么说更好”。这两段需要来自人类的高质量反馈语料特征是“齐”。如果模型微调后部署到具体场景形成行业大模型比如工业、金融、医疗就需要满足该场景专业需求的特定领域知识做预训练和对齐语料特征是“专”。三个字对应三种数据策略混用就会出问题——拿“广”的网页语料去做对齐模型的回答依然散漫拿“专”的行业文档去堆预训练模型的通用能力又上不去。2.2 多模态模型的燃料是成对数据Transformer 从文本迁移到图像、视频、语音之后多模态模型的训练数据形态发生了变化。白皮书点明训练阶段需要大量图像-文本对、视频-文本对这类有标注数据集。图像-文本对是包含一张图像和一段描述该图像内容的文本让模型学习像素之间、文字与图像之间的关联视频-文本对则包括一个短视频和一段描述视频中事件的文本让模型不仅学习单个画面还要理解视频中的时间序列和动态变化。这个区别在工程上很实际图像对训练的是静态关联视频对训练的是时序理解后者的标注成本和时间窗口对齐难度都高一个量级。2.3 训练数据的三重不确定性白皮书对“高质量数据标准”给了一个很克制的判断高质量并不适合被前置的客观标准定义。它把不确定性拆成三层这个拆法比给一张标准清单有用得多。第一重是语料种类的不确定性由人类对模型能力的需求决定而需求随任务演变。2020 年前后对话文本被视为最重要的高质量数据技术路线演进后发现通用上下文理解才是重点书籍和科研论文的占比被提升再往后对推理能力有帮助的语料更受重视一类是代码数据因为里面涉及大量 If-Then-Else 条件控制信息另一类是教材因为涉及详细的数学推理过程和逻辑链。第二重是语料形态的演化。随着合成数据和数据增强技术提升模型对数据的利用边界在拓展随着长上下文建模能力增强代码数据从执行单一任务到仓库级教材从中小学级别拓展到大学。同一类数据形态变了价值也变了。第三重是不同数据类型之间的搭配。这里有两个环节数据混合是调整不同来源数据的配比数据课程是安排不同来源数据的训练顺序。白皮书举了个例子在监督微调阶段有研究者从技术问答社区精选高赞语料配合手工整理的问答对共得到 1000 条高质量微调数据以“少而精”在模型对齐能力上取得了不错的效果。按技能集合顺序组织预训练语料从基础技能到目标技能比直接专注于目标技能的语料库更有效。2.4 规模不是越大越好CC 与 C4 的对比说明了什么白皮书引了一个经典对比CC 是约 400TB 的公共网络抓取数据集包含数十亿网页内容广泛但未经清洗C4 则是对 CC 做了过滤噪声、重复内容等清洗后的约 305GB 数据集。评估发现基于 C4 训练的模型性能优于 CC。这个案例的分量在于它同时否定了两个常见做法一味追求语料规模以及跳过清洗直接上量。白皮书由此给出的结论是不是语料规模越大越好而是高信息密度的语料规模越大越好。落到工程上这意味着数据管线的清洗和去重投入回报可能比多加几台训练机器更直接。3. 数据治理与生态中美两种路径的差异与合规思路3.1 大模型用数据的方式和推荐系统不一样传统决策类人工智能在需求侧通过学习和分析海量用户行为数据判断用户偏好和需求在供给侧学习内容特征借助推荐、排序机制实现需求与内容的匹配再根据用户行为反馈优化算法。以个性化搜索为例以大量用户使用记录、用户画像、内容画像为基础提炼客群和内容标签抽象出特征向量用向量空间距离计算用户和内容相似度通过匹配与排名完成召回。以大模型为代表的生成式人工智能技术特征明显不同。它模拟人类思维活动方式生成人类可以理解和使用的内容训练数据基于世界知识对语料库等知识性内容有强烈需求。白皮书还补了一句反直觉的话过量的个人数据会负面影响大模型的能力而过于个性化的应用也会增加大模型的运算负担。3.2 治理难点在于使用特点白皮书对大模型使用训练数据的特点做了归纳治理思路正是从这里推出来的。合成数据这一节末尾提到“在发展中治理”但这部分的详细条款在正文里并未展开只留下方向性判断需要为技术发展预留空间构建更顺应模型发展的数据治理体系。这条原则听起来虚但对照现实中的合规争论就能落地——规则如果卡在数据获取的每一个环节模型迭代速度会被拖垮。3.3 美国“汇聚融合”中国面临公共数据开放不足白皮书用一节对比了政府与社会力量协同的训练数据生态。美国呈现的是政府“汇聚融合”、社会力量“探索应用”的模式中国的现状则是公共数据开放不足、社会力量探索碎片化。这个判断对做数据服务的人来说是明确的信号机会不在于再建一个封闭语料库而在于把分散的行业数据接起来、把公共数据的可用性推上去。白皮书还引用了政策层面的进展自《关于构建数据基础制度更好发挥数据要素作用的意见》发布以来数据要素建设不断深入国家数据局等 17 部门联合印发的《“数据要素 ×”三年行动计划2024—2026 年》明确“建设高质量语料库和基础科学数据集支持开展人工智能大模型开发和训练”。政策指向和产业痛点在这里是对齐的。4. 合成数据供给不足的技术解法还是新风险源4.1 高质量语言数据可能在 2024 年前耗尽白皮书引用 Epoch AI 的估算书籍、科研论文等高质量语言数据集可能会在 2024 年前耗尽。这个时间点已经贴到眼前所以供给侧的探索不是远景规划而是当下的工程任务。白皮书列了两条思路一条是把未数字化的知识数字化比如对大量未数字化的书籍和资料做数字化处理另一条是利用机器感知数据把无人车、无人机、其他智能硬件设备生成的大量物理世界数据用于训练。还有第三条就是用模型或算法批量生成新数据即合成数据。4.2 合成数据的定义与三类适用场景合成数据是通过算法和数学模型创建的先建模真实数据的分布再在该分布上采样创建出新数据集模拟真实数据中的统计模式和关系。白皮书用了个比喻说它类似数据的“替身演员”发挥补充或替代真实数据的作用。但也提醒如果生成过程设计不当合成数据可能缺乏保真度对客观世界的模拟出现偏差。什么情况下会用合成数据本质原因是真实世界中获取数据遇到困难白皮书归纳了三种一是真实世界难以观测如罕见病或极端天气用合成数据可以对 Corner Case 做模拟二是获取成本高如对齐训练需要人类大量高质量反馈用合成数据可以实现对齐流程自动化三是涉及个人信息甚至敏感信息如医疗健康和金融领域可以用差分隐私对个体信息“加噪声”模拟真实数据集的分布而不模拟其中的真实个人信息。4.3 生成方法的分野基于真实数据还是基于模型与知识按是否基于实际数据集生成合成数据分两大类。第一类基于真实数据集构建建立模型捕获真实数据的分布特性和结构特征刻画多变量关系然后从该模型中抽样生成。如果模型能很好代表真实数据合成数据就会具有相似的统计特性。第二类不来源于真实数据而是通过现有模型或人类专业背景知识创建。现有模型可以是某个过程的统计模型也可以是模拟模型。白皮书举的例子很具体文生视频模型用到了由游戏引擎Unity、Unreal Engine 5 等合成的视频数据作为训练集以提高生成质量。按用于训练的 AI 类型又可分为应用于生成式 AI 和判别式 AI 两类。生成式 AI 训练常用媒体合成数据视频、图像、声音和文本合成数据判别式 AI 训练分类或回归所需的通常是表格合成数据类似真实生活中的数据记录或表格。4.4 预训练里的“新物种”与对齐阶段的加速器白皮书把合成数据在训练中的作用分成两个位置来看这个分法很有价值。在预训练阶段合成数据是“新物种”目前占比不高但潜力大主要体现在两处。一是多模态数据生成模拟器生成的多模态场景数据广泛应用于具身智能机器人、自动驾驶、AI for Science 等场景还可以通过有效“过采样”罕见事件或灾难性事件确保模型对更广泛的输入保持鲁棒性。二是高价值领域知识的生成核心是把之前不能被用于训练的数据转化为可用。白皮书给了工业制造的三步路径先把原始数据非自然语言描述的操作行为或时序数据转化为大模型可读的结构化信息即操作记录再把多条结构化信息与行业知识图谱、专家经验结合产出有价值的行业知识比如在什么温度下应该如何操作、好处是什么最后利用大模型的推理能力把相对单一的知识做多样性拓展积累更丰富的行业语料。在对齐阶段合成数据是“加速器”。白皮书引了一句话说如果掌握了合成数据技术对齐的成本可能会降低好几个数量级或用一样的投入产生更大数量级的数据竞争格局就会发生变化。这条路径叫“从人工智能反馈中进行强化学习RLAIF”用较大规模模型产出合成数据生成指令及输入输出样本过滤掉无效或重复信息自动化微调出性能较好的小模型全过程几乎无需人类标注。文中提到的公开案例是一个 70 亿参数对话模型采用自我指导方法用外部 API 自动生成指令数据进行微调。还有两条新思路值得关注。自我对局是在满足一定条件时利用合成数据进行自我对抗微调让第 t1 代模型尝试区分第 t 代模型输出与真人输出得到了比 RLHF 更好的效果。宪法式 AI 则让系统在遵循预先设定原则的前提下使用模型自身生成的反馈和修正意见进行自我改进得到一个既能生成无害内容、又不规避有害问题的模型。另一条叫“从人类和人工智能反馈中进行强化学习RLHAIF”整合人类和 AI 元素提供监督有研究表明在利用 AI 协助人类评估时模型生成的批评有助于人类发现可能错过的缺陷。4.5 循环训练的担忧怎么回应“大模型自己产生数据自我训练”会不会让初始偏差被不断放大最终失控白皮书的处理方式是把它作为待解问题提出并给出方向合成数据需要“在发展中治理”。从工程角度看这意味着合成数据管线里必须内置质量校验和分布监测而不是生成完直接喂进去。这里没有银弹只有流程。5. 被误读最多的几个点三个常见判断为什么站不住5.1 误判一中文语料占比低所以中文大模型必然落后白皮书的统计是在全球网站中英文占 59.8%中文仅占 1.3%。看到这个数字很多人直接得出“中文语料短缺制约我国大模型发展”的结论。白皮书明确否定了这个推论理由是规模不是决定性影响因素。一是世界知识的积累有的属于客观事实用英文或中文表达原理是一致的在机器翻译质量有保障的前提下可以弥补这部分中文语料的缺少。二是训练技术上引入新方法也可以弥补例如合理安排不同语言类型的训练顺序能让模型学习到供给相对较少语言的丰富特征。所以“量”的短缺有解。真正短缺的是另一类中式价值观类语料。模型要理解客观世界和掌握规律需要学习大量来自知识和价值观层的数据而大模型是概率分布模型数据来源分布会让模型具备与之相似的人类意志。这类语料短缺无法通过机器翻译弥补因为即使翻译质量有保障仍会引入源语言的偏见。白皮书点出的可视为高质量中式价值观语料的范围包括文言文、古汉语、电子书籍等反映优秀传统文化的内容以及主流媒体发布的能反映本土价值观的内容。短板也很具体从积累机制、数字化比如古籍数字化率不到 30%到开放共享与开发利用再到训练过程中机器算法与编码系统的建设都需要持续投入。5.2 误判二高质量数据可以前置制定统一标准很多团队的第一反应是能不能先定一套标准把高质量数据提前筛出来白皮书的回答是不能而且理由很硬。语料类型随能力需求演变语料形态随技术进步演化不同数据类型的搭配又影响最终效果三重不确定性叠加没有人拥有“上帝视角”可以精准前置预知哪些是未来的高质量数据。白皮书给出的表述是“高质量”更多是一种主观判断标准取决于模型的应用目的数据类型会因时而动、因人而异、因效而定。所谓“高质量标准”的制定至多是对同类型数据在质量维度评估提供一种参考对模型训练的价值有限。这句话对做数据标注和数据治理的团队是个提醒把精力砸在做一张万能标准表上不如把评估模型和人工抽检的闭环搭起来。5.3 误判三数据清洗是可选步骤先上量再说CC 与 C4 的对比已经说明了问题但实践中仍有团队把清洗当成后期优化项。白皮书还补了一层使用错误的数据训练会导致模型记忆有偏差信息、发生事实性错误使用有重复的语料可能导致模型对特定类型的示例产生偏见降低生成结果多样性造成模型能力显著下降。同时也要注意另一个方向的误读高质量语料不等于能消除幻觉。白皮书说得很清楚即使各阶段语料都满足真实性、准确性、客观性、多样性的要求仍不能完全避免模型“一本正经胡说八道”因为大模型本质是概率模型是基于前文预测下一个词出现的概率。高质量语料能大幅降低幻觉概率但不能完全避免。把幻觉当成纯数据问题去解方向就偏了。5.4 注意合成数据不是廉价替代品最后一个容易误判的点合成数据不是“没钱买数据”时的将就方案。白皮书对它的定位是双重的——既是预训练语料的新物种也是对齐语料获取效率的加速器。前者拓展的是数据利用的可能性后者改变的是对齐的成本结构。如果只把它当降本手段就会忽略它在多模态和领域知识生成上的战略价值反过来如果只看到潜力而不建质量校验就会踩进保真度不足的坑。6. 趋势判断数据竞争的重心正在从“有多少”转向“怎么用”把这份白皮书的判断串起来看一条主线很清楚大模型的数据竞争重心正在从“拥有多少语料”转向“能不能把数据用起来”。第一条趋势是数据的价值分层会加速。预训练要“广”、对齐要“齐”、行业要“专”这三类需求的供给侧完全不同。广的层面靠清洗和配比齐的层面靠合成与自动化专的层面靠行业知识的结构化改造。能把三层拆开、分别建管线比笼统地说“我们有多少 TB 数据”有意义得多。第二条趋势是合成数据会从配角变成基础设施。白皮书判断通过合成的多模态数据进行训练的需求还会持续且大幅增加在领域知识生成方面趋势是“精”对语料质量要求高且不可或缺。因为大模型只有在预训练中学习过领域知识才能在后期用行业语料做 SFT 时激发出更好的效果。这意味着合成数据管线的质量会直接影响行业模型的成败。第三条趋势是中式价值观语料会成为差异化变量。英文占 59.8%、中文占 1.3% 的格局短期不会变机器翻译能补客观事实补不了价值取向。古籍数字化率不到 30% 这个数字本身就说明供给侧还有大量未开发的空间。谁能在积累机制、数字化、开放共享这几环上先跑通谁就握住了别人翻译不过来的东西。第四条趋势是治理会走向“预留空间”。白皮书反复强调以更开放和务实的方式解决高质量训练数据供给这个态度对应的是政策与产业的双向磨合。对从业者来说合规不是一道一次性通过的门而是持续校准的过程。下面这张表把白皮书里几组关键数据放在一起方便对照着看指标数值说明英文在全球网站中占比59.8%中文仅 1.3%误选隐私泄露为主要风险点的受访者超过 60%第三方专业机构测评CC 数据集规模约 400TB未经清洗的公共网络抓取数据C4 数据集规模约 305GB对 CC 清洗后精选高质量微调数据样例1000 条配合手工问答对少而精我国古籍数字化率不到 30%中式价值观语料供给短板之一回到实操层面。我自己踩过的一个坑是早期做数据配比时凭直觉定比例觉得多塞点代码数据就能提升推理能力结果模型在通用对话上的表现反而掉了。后来改成按技能集合的顺序组织语料从通用和简单例子起步逐步引入专业化、复杂度的数据再配合小规模高赞语料做对齐效果才稳住。血泪经验是数据课程这件事不能拍脑袋得用消融实验一条条试出来。从那以后我每次搭数据管线都强制走一遍三问这批语料解决的是“广”“齐”还是“专”清洗和去重的成本有没有算进去合成数据部分的质量校验放在哪个环节三个问题答不上来就先别急着开训。白皮书里可深挖的细节远不止这些包括合成数据的分类方法、领域知识的三步转化路径、中美生态的具体差异都在原文里有更完整的展开。需要完整版本的可以在资源区取。希望帮到你。本文还有配套的精品资源点击获取