UltraX-Preview实战指南用20B精炼Token从零预训练MiniCPM模型的完整教程【免费下载链接】UltraX-Preview项目地址: https://ai.gitcode.com/OpenBMB/UltraX-PreviewUltraX-Preview 是 OpenBMB 开源的大模型预训练数据精炼数据集合集包含 5 个经 UltraX 函数调用式精炼的英文预训练语料每个约 20B tokens专为从零预训练 MiniCPM 等轻量级 LLM 设计帮助新手以更低的数据成本获得更强的模型效果。 一、UltraX-Preview 是什么五大 20B 精炼语料一次看懂传统预训练语料往往重数量、轻质量——错误页面、导航残留、登录墙文本混杂其中白白消耗训练算力。UltraX-Preview用 UltraX 精炼框架对 5 个主流英文语料逐条做了外科手术式编辑产出 5 份各约 20B tokens 的高密度预训练语料是 LLM 预训练语料筛选与数据精炼方向上值得关注的开源成果。精炼语料源语料特点UltraX-FineWebFineWeb大规模 Common Crawl 网页语料UltraX-RedPajama-V2RedPajama-v2多源网页语料UltraX-AICCAICCHTML 解析的高保真网页语料UltraX-Ultra-FineWebUltra-FineWeb质量过滤后的 FineWeb 语料UltraX-FineWeb-ProX-DocFineWeb-ProX-Doc文档级精炼语料数据以分片 parquet 文件组织统一存放在 data/ 目录下例如 data/UltraX-FineWeb/ 共 104 个分片data/UltraX-AICC/ 共 61 个分片。⚙️ 二、核心原理函数调用式精炼如何提升预训练数据质量与规则清洗或端到端 LLM 改写不同UltraX 训练一个轻量精炼模型来预测结构化编辑操作再在原始文本上确定性执行——每条样本独立精炼既保留原文信息又精准去除噪音。函数空间一览5 种编辑操作编辑操作作用keep_all()文档无需修改原样保留remove_all()整篇无价值错误页、登录墙整体删除remove_lines(start, end)删除指定行区间replace_str(line, old, new)在指定行内替换子串add_line(base, sub_idx, content)在指定位置附近插入新行底层由LAM行级对齐 DCR动态上下文替换流水线支撑先把原始文本与精炼文本在行级别对齐再把字符级编辑转化为带唯一上下文锚定的replace_str操作配合滑动窗口推理、重叠感知聚合与歧义过滤确保亿级样本规模下执行可靠。完整技术细节可参考 README_ZH.md 的亮点章节。 三、快速上手3 步获取 UltraX 精炼数据集第一步克隆数据仓库git clone https://gitcode.com/OpenBMB/UltraX-Preview第二步看懂 5 列数据格式每个 parquet 文件结构统一预训练时重点关注cleaned_content列列名说明uid唯一标识符raw_content 的 MD5 哈希raw_content精炼前的原始文本cleaned_content经 UltraX 精炼后的文本✅ 预训练用这一列processed_functions实际执行的编辑操作记录source源语料名称第三步加载数据集from datasets import load_dataset # 以 UltraX-FineWeb 为例 ds load_dataset(openbmb/UltraX, UltraX-FineWeb, splittrain)其余 4 个配置将参数替换为UltraX-RedPajama-V2、UltraX-AICC、UltraX-Ultra-FineWeb、UltraX-FineWeb-ProX-Doc即可完整示例见 README.md 的 Quick Start 部分。 四、实战用 20B Token 从零预训练 MiniCPM 模型官方实验设置模型1B 参数的 MiniCPM从零预训练数据单一精炼语料的 20B tokens评估LightEval 零样本设置10 个基准ARC-C、ARC-E、CSQA、HellaSwag、MMLU、OBQA、PIQA、SIQA、WinoGrande、SciQ精炼数据到底带来多少提升UltraX 在全部 5 个语料上取得最高平均性能在 50 个任务-语料组合中拿下 34 个最佳结果 相比原始数据Raw平均相对提升约2.00%相比 ProX-C 提升约1.53%数据效率更优在 FineWeb 上UltraX 仅用 16B tokens45.49就超过了 Raw 和 ProX-C 用满 20B tokens 的最终成绩45.08 / 45.05——同样的算力预算更早到达目标性能这意味着用 UltraX-Preview 训练 MiniCPM可以少喂约 20% 的 token 达到同等效果对算力有限的新手尤其友好。 五、新手怎么选预训练语料一份实用清单你的需求推荐语料通用预训练、最标准的起点UltraX-FineWeb追求更干净的文本质量UltraX-Ultra-FineWeb希望来源更丰富多样UltraX-RedPajama-V2重视 HTML 解析保真度UltraX-AICC偏向文档级长文本结构UltraX-FineWeb-ProX-Doc建议先用一个语料跑通完整预训练 评估流程再横向对比不同语料这样能直观感受数据精炼带来的差异。 六、许可证与使用注意事项本项目基于 Apache 2.0 协议发布详见 LICENSEUltraX 语料由多个源语料构建商用前请逐一对比各源数据集的许可证项目明确禁止未经授权的镜像、转载与商业化包装再发布✅ 总结UltraX-Preview 提供了一条精炼语料 → 20B Token → 从零预训练 MiniCPM的完整可复现路径5 大语料开箱即用5 列格式清晰易读官方实验证明精炼数据在平均性能与数据效率上双双占优。对于想要低成本体验 LLM 预训练全流程的新手这是一份值得收藏的中文预训练数据资源。关键文件索引中文文档README_ZH.md 英文文档README.md数据目录data/UltraX-FineWeb/、data/UltraX-RedPajama-V2/、data/UltraX-AICC/、data/UltraX-Ultra-FineWeb/、data/UltraX-FineWeb-ProX-Doc/许可证LICENSE【免费下载链接】UltraX-Preview项目地址: https://ai.gitcode.com/OpenBMB/UltraX-Preview创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
企业数字化 ERP 产品动态
相关推荐
C++农场游戏开发：Cocos引擎集成与CMake构建实战解析 简介：这是一份基于C开发的星露谷风格农场生活模拟游戏完整工程项目，既可作为程序设计范式课程的期末大作业参考，也适合希望用Cocos与CMake搭建游戏项目的开发者学习。资源包共2000个文件，大小249.21MB，核心代码以1230个… · 2026/9/26 4:25:57
开源商业化实战：从许可证设计到全球共生 每年的 COSCon 对我来说都是雷打不动的行程，今年这份“开源全球商业化论坛”的议程一发布，我身边的开发者群和创业群立刻就炸了。很多人第一反应是：开源和商业化不是互相矛盾吗？代码不是应该免费吗？怎么还能专门开个论… · 2026/9/26 4:25:57
autogen 5.11.5 源码包编译与私有仓库分发实践 简介：autogen-5.11.5.tar.gz 是一款开源自动代码生成工具 autogen 的 5.11.5 版完整源代码包，面向需要自动化构建配置、减少手工维护构建脚本与配置文件负担的开发者，尤其适合大型项目或团队协作场景。该工具可根据源码结构及依赖关系动态生成… · 2026/9/26 4:25:57
办公网网络基建指南：从物理布线到VLAN规划与排障 1. 网络基建到底在“建”什么很多刚开始接触桌面运维或者网络基础的朋友，会把“基建”两个字想得很宏大，觉得要配机房、拉光纤、上核心交换机才叫基建。实际上，日常工作中遇到的网络基建，绝大多数是从一张桌子开始的。我最早接手公… · 2026/9/26 5:07:21
CORBA Explorer：分布式系统协议层调试与IOR可视化工具 简介：本资源是一款面向CORBA开发与测试工程师的实用工具集——CORBA Explorer，专为服务端功能验证、对象引用（IOR）调试、IDL接口解析及ORB环境配置提供支持，适用于分布式系统开发、中间件集成测试等场景。压缩包共538个… · 2026/9/26 5:07:21
奇安信零信任身份安全落地实践：从PPT到Docker沙箱验证 /* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/26 5:07:15
电厂数字化转型方案：从DCS到SIS的规划与落地要点 /* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/26 5:07:09
敏捷开发落地全攻略：核心概念、实操步骤与避坑指南 经常有同事或同行跑过来问我：敏捷开发到底是什么。我听过各种各样的回答，有人说就是每天站着开个小会，有人说是把需求写在小卡片上贴满墙，还有人说是让开发自己给自己派活。这些说法都沾了点边，但都没说到要害。敏捷开… · 2026/9/26 5:07:09
IT6616不是转接头：HDMI转MIPI协议桥接芯片深度解析 /* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/26 5:07:09
数据库课后习题答案别硬背：当测试用例集刷，效率翻倍 简介：万常选版《数据库原理与设计》课后习题答案资源，覆盖第2至6章及第9章，适合正在学习关系模型、数据库建模、关系数据理论与模式求精的本科生、自学者作为复习与自测材料。压缩包共7个文件，含3个doc参考答案、2个sql示例脚本、… · 2026/9/26 0:00:21
OpenClaw 替代品？Hermes Agent 踩坑实录：macOS 飞书接入 TaoToken 配置 /* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/26 0:00:40
向下兼容与向上兼容：接口设计中的兼容性策略与工程实践 一次版本升级事故，是很多团队绕不过去的坎。线上环境里，服务端明明已经上线了新版接口，老的移动端还在照着旧文档传参数。请求一到网关，校验直接拒绝，用户操作失败，客服群炸了锅，开发群里开始互… · 2026/9/26 0:00:46
