数据效率突破UltraX如何用16B Token击败原始数据20B Token的训练效果【免费下载链接】UltraX-Preview项目地址: https://ai.gitcode.com/OpenBMB/UltraX-PreviewUltraX 是 OpenBMB 社区推出的大规模预训练数据精炼框架通过函数调用式的程序化编辑对网页语料逐条打磨。本仓库 UltraX-Preview 收录了 5 个经 UltraX 精炼的英文预训练语料各约 20B Token实验显示UltraX 精炼数据在 16B Token 时即超越原始数据 20B Token 的训练效果用更少 Token 换来更强模型。为什么数据效率是大模型预训练的核心难题大模型预训练的成本主要消耗在 Token 量上但更多数据 ≠ 更好模型原始网页语料信息密度低——导航栏、页脚、登录墙、错误页等样板内容占了大量篇幅粗暴过滤会误伤——按规则整篇丢弃容易连带删掉有价值的段落LLM 端到端改写——质量不可控、成本高且可能悄悄改变原文事实。UltraX 给出了第三条路训练一个轻量精炼模型为每条样本预测一组结构化编辑操作插入、删除、修改再在原文上确定性执行。既不是整篇丢弃也不是自由改写而是外科手术式的逐行编辑。五大编辑操作让每条样本被精准处理操作作用keep_all()文档无需修改remove_all()整篇无价值错误页、登录墙remove_lines(start, end)删除指定连续行replace_str(line, old, new)在指定行内替换子串add_line(base, sub_idx, content)在指定位置插入新行底层由LAM DCR 流水线支撑行级对齐映射LAM先对齐原文与精炼文本的行动态上下文替换DCR再把字符级编辑转成带唯一上下文锚点的可靠操作配合滑动窗口推理、歧义过滤、同行操作合并等机制保证在十亿级样本上稳定执行。更多技术细节见 README_ZH.md。五大精炼数据集每个约 20B Token 的预训练语料数据集源语料说明数据位置UltraX-FineWebFineWeb大规模 Common Crawl 网页语料data/UltraX-FineWeb/UltraX-RedPajama-V2RedPajama-v2多源网页语料data/UltraX-RedPajama-V2/UltraX-AICCAICCHTML 解析的高保真网页语料data/UltraX-AICC/UltraX-Ultra-FineWebUltra-FineWeb质量过滤的 FineWeb 语料data/UltraX-Ultra-FineWeb/UltraX-FineWeb-ProX-DocFineWeb-ProX-Doc文档级精炼语料data/UltraX-FineWeb-ProX-Doc/每个数据集由若干 Parquet 分片组成如 UltraX-FineWeb-en-part-0001-of-0104.parquet可直接用于大规模训练。实验证据16B Token 如何打赢 20B Token评估设置非常硬核使用1B 参数的 MiniCPM 模型从零预训练每个语料喂 20B Token在 10 个知识基准ARC-C、ARC-E、CSQA、HellaSwag、MMLU、OBQA、PIQA、SIQA、WinoGrande、SciQ上零样本评估直接对比 UltraX 精炼数据 vs 原始数据Rawvs ProX-C 文档级精炼 UltraX 在全部 5 个语料上取得最高平均分50 个任务×语料组合中拿下 34 个最佳 相比原始数据平均相对提升约2.00%相比 ProX-C 约1.53%多个数据集提升超 2%⚡ 最有说服力的数据效率结论在 FineWeb 上UltraX 训练到 16B Token 时平均分 45.49已超越原始数据与 ProX-C 训练满 20B Token 的结果45.08 / 45.05——相当于用约 80% 的 Token 预算打赢了对手直接省下约 1/5 的训练算力。背后的逻辑很直观精炼后的文本去掉了样板噪声每个 Token 承载的有效信息更多模型的学习速度自然更快。数据格式与快速上手每个 Parquet 文件包含 5 列结构清晰、便于审计列名说明uid唯一标识符raw_content的 MD5 哈希raw_content精炼前的原始文本cleaned_content经 UltraX 精炼后的文本processed_functions实际应用的编辑操作source源语料名称得益于processed_functions列你可以逐条核对模型到底改了什么这是规则过滤和端到端改写都做不到的可解释性。加载数据集只需几行代码from datasets import load_dataset ds load_dataset(openbmb/UltraX, UltraX-FineWeb, splittrain)总结UltraX 适合谁预算有限的预训练团队数据效率提升意味着更短的算力周期研究数据精炼的团队可复现的函数式编辑 完整的操作审计列想要开箱即用精炼语料的工程师5 个 20B Token 级语料即取即用。使用注意项目基于 Apache 2.0 协议 发布但语料源自多个上游数据集二次使用需自行核对各源语料的许可证。完整数据集说明请查阅 README.md英文与 README_ZH.md中文。【免费下载链接】UltraX-Preview项目地址: https://ai.gitcode.com/OpenBMB/UltraX-Preview创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
企业数字化 ERP 产品动态
相关推荐
运动物体检测实战：光流辅助YOLO的四步优化法 简介：本资源是一套面向计算机视觉初学者与进阶开发者的运动目标检测实践代码包，聚焦于视频流中运动物体的实时定位与识别，适用于智能交通、行为分析、安防监控等典型场景。压缩包共139个文件，含122张交通场景实拍JPG图像ÿ… · 2026/9/26 2:28:02
多模态情感分析实战：BERT+ResNet特征融合与跨模态注意力详解 简介：面向高校人工智能课程设计与期末大作业场景，这套Python多模态情感分析项目以BERTResNet为骨干，基于Hugging Face与torchvision搭建，在Models目录中提供Naive拼接、Naive加和及三种注意力融合共5种可对比方案，适合… · 2026/9/26 2:28:02
杭州潮工智能设备有限公司规模怎么样，研发能力强吗 杭州潮工智能设备有限公司是一家位于长三角杭州地区，专业从事数控自动化设备研发、生产、销售的综合性数控装备企业，核心业务覆盖五轴加工中心、数控龙门钻铣床、精雕机、雕刻机等多款数控加工设备的定制化生产与供应，致力于为各领域加工企业… · 2026/9/26 2:28:02
LangGraph4j+LangChain4j构建生产级AI工作流智能体平台 1. 项目概述：这不是又一个“拖拽搭AI”的玩具，而是一套能扛住生产级工作流编排的智能体骨架 我去年在给一家做工业设备远程诊断的客户做系统升级时，被反复问到一个问题：“你们说的智能体，到底能不能接进我们现有的MES工… · 2026/9/26 9:12:12
基于观测云构建AgentOps：LLM与AI Agent的可观测运维实战 大概从 2024 年下半年开始，我们团队最核心的工作变成了一个用 LLM 支撑的智能客服助理。功能跑通后第一周就被打脸：线上监控面板一片绿，CPU、内存、QPS 全部正常，可用户投诉"机器人答非所问"的比例居高不下，… · 2026/9/26 9:12:12
SQL数据库图书管理系统课程设计：完整源码与避坑指南 简介：这份SQL数据库图书管理系统课程设计文档，面向高校计算机相关专业学生及数据库初学者，用于完成数据库应用技术课程的课程设计任务。文档围绕图书管理系统的完整设计流程展开，涵盖系统分析、E-R图绘制、关系模式定义、数据字典… · 2026/9/26 9:12:12
TortoiseGit状态图标消失的根源与四步修复法 1. 问题本质与真实影响：这不是小图标消失，而是Shell扩展机制的“失联” TortoiseGit 状态图标（那些绿色对勾、红色叉号、蓝色感叹号）在 Windows 资源管理器里突然变灰、消失或完全不显示——这绝不是界面美化的小毛病，… · 2026/9/26 9:12:12
TortoiseGit状态图标不显示的七步排查与生产级加固 1. 这个“小图标消失”问题，比你想象的更顽固TortoiseGit 状态图标不显示——这事儿我见过太多次了。不是 Git 本身坏了，不是仓库出错了，甚至不是你操作失误，而是 Windows 资源管理器里那个小小的绿色对勾、红色感叹号、蓝色箭头&… · 2026/9/26 9:12:12
图学习入门：用 TaoToken 统一 Key 跑通 GCN 与 GraphSAGE 最小示例 /* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/26 9:12:06
数据库课后习题答案别硬背：当测试用例集刷，效率翻倍 简介：万常选版《数据库原理与设计》课后习题答案资源，覆盖第2至6章及第9章，适合正在学习关系模型、数据库建模、关系数据理论与模式求精的本科生、自学者作为复习与自测材料。压缩包共7个文件，含3个doc参考答案、2个sql示例脚本、… · 2026/9/26 0:00:21
OpenClaw 替代品？Hermes Agent 踩坑实录：macOS 飞书接入 TaoToken 配置 /* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/26 0:00:40
向下兼容与向上兼容：接口设计中的兼容性策略与工程实践 一次版本升级事故，是很多团队绕不过去的坎。线上环境里，服务端明明已经上线了新版接口，老的移动端还在照着旧文档传参数。请求一到网关，校验直接拒绝，用户操作失败，客服群炸了锅，开发群里开始互… · 2026/9/26 0:00:46
