首页/新闻资讯/正文详情

英伟达:多模态合成数据生成框架

发布时间:2026/9/25 20:00:49 来源:云帆数科 栏目:资讯中心
英伟达:多模态合成数据生成框架
标题NeMo Data Designer: An Extensible Framework for Multimodal Synthetic Data Generation来源arXiv, 2609.17699v1️文章简介研究问题如何构建一个通用、可扩展且易于复现的框架来解决多模态合成数据生成过程中流程混乱、难以调试和缺乏多样性控制的问题主要贡献论文提出了NeMo Data Designer (NDD)这是一个开源的多模态合成数据生成框架通过声明式配置和插件系统实现了从数据设计、预览迭代到大规模生成的标准化流程。重点思路声明式配置与依赖解析用户通过YAML或Python定义数据集的每一列如文本、代码、图像、统计采样器等框架自动解析列之间的依赖关系构建有向无环图DAG无需编写复杂的命令式调度代码。预览-修订迭代循环核心工作流包含“预览”环节先生成少量样本供用户检查质量和分布调整配置后再进行全量生成确保数据符合预期避免盲目大规模计算造成的浪费。显式的多样性控制引入统计采样器作为一等公民允许用户通过指定概率分布来精确控制数据的多样性如主题、难度、人物画像而非仅依赖模型自身的随机性。异步运行时与容错机制运行时异步调度任务自动处理模型端点调用、重试失败请求并支持断点续传确保在大规模生成时的稳定性和效率。灵活的插件系统支持通过插件扩展新的列类型、种子读取器和处理器使得框架能够适应结构化输出、Agent轨迹、多模态理解等特定领域的需求。分析总结提升模型结构化输出能力在Nemotron 3 Nano训练中使用NDD生成的9000多个验证过的JSON数据使模型在JSONSchemaBench上的准确率从80.2%提升至86.9%。优化Text-to-SQL性能通过分阶段生成和严格验证生成的SQL数据帮助CrowdStrike定制模型达到了96%的有效查询准确率显著优于基线模型。增强Agent工具使用能力生成了约7000条包含完整搜索轨迹的合成数据用于监督微调有效提升了模型在多步搜索和工具调用中的表现。改善长文档视觉理解通过迭代生成和视觉语言模型裁判过滤构建了1140万对视觉问答数据使MMLongBench-Doc基准测试成绩从26.32%大幅提升至59.00%。降低提示词敏感性通过控制语言多样性生成训练数据使模型在不同提示词表述下的性能波动减少了一半增强了模型的鲁棒性。个人观点论文将合成数据生成从“写脚本”转变为“工程设计”通过声明式配置让整个过程透明、可审计。

相关推荐

AI Agent Harness Engineering 盈利模式设计:TaoToken 统一 Key 下的订阅制、按次付费与定制化服务
AI Agent Harness Engineering 盈利模式设计:TaoToken 统一 Key 下的订阅制、按次付费与定制化服务

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/25 20:00:49

vue3+prism封装组件:多语言自动高亮代码块,支持一键复制
vue3+prism封装组件:多语言自动高亮代码块,支持一键复制

• Prism官网&#xff1a;https://prismjs.com/ • vue-prism-component主页&#xff1a;https://github.com/egoist/vue-prism-component 1、安装 prismjs、vue-prism-component yarn add prismjs vue-prism-component2、封装组件 <!-- src/components/CodeBlock.vue --&… · 2026/9/25 20:00:37

RS485总线时通时断丢包严重?从硬件到软件的全链路排查实战手册
RS485总线时通时断丢包严重?从硬件到软件的全链路排查实战手册

前阵子在化工厂调试仪表采集系统,23台压力、温度传感器走RS485总线串联,白天空载调试一切正常,一到晚上车间电机、变频器全开,就开始频繁丢包,有时候连续十几帧收不到回复,历史数据断得稀碎。 一开始下意识觉得是轮询逻辑写得有问题,熬了半宿改了三版调度算法,问题反而… · 2026/9/25 20:00:25

Nemotron-3-Diarization完全指南:NVIDIA开放权重说话人分离模型如何搞定8人会议的谁在何时说话
Nemotron-3-Diarization完全指南:NVIDIA开放权重说话人分离模型如何搞定8人会议的谁在何时说话

Nemotron-3-Diarization完全指南&#xff1a;NVIDIA开放权重说话人分离模型如何搞定8人会议的谁在何时说话 【免费下载链接】Nemotron-3-Diarization 项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/Nemotron-3-Diarization Nemotron-3-Diarization 是 NVIDIA 于… · 2026/9/25 21:00:01

搭建私人导航页:把常用内网入口放在一个页面
搭建私人导航页:把常用内网入口放在一个页面

内网服务多了&#xff0c;最容易忘的往往不是密码&#xff0c;而是“这次应该打开哪个 IP、哪个端口”。把地址记在聊天记录里&#xff0c;用时还要翻找。不如做一个简单的导航页&#xff1a;常用入口排成几张卡片&#xff0c;连接内网穿透工具后&#xff0c;打开页面就能点进去… · 2026/9/25 20:59:55

G.8273.2边界时钟测试:纳秒级时频同步的生存能力验证
G.8273.2边界时钟测试:纳秒级时频同步的生存能力验证

1. 这不是“测个时间”那么简单&#xff1a;G.8273.2边界时钟测试到底在测什么&#xff1f;ITU-T G.8273.2&#xff0c;这个编号看起来像一串密码&#xff0c;但对通信、电力、金融、广电这些对时间精度有“强迫症”的行业来说&#xff0c;它就是一把标尺&#xff0c;一把量度整… · 2026/9/25 20:59:55

Kubernetes agent调度CLI工具ax:gRPC通信与调度实战
Kubernetes agent调度CLI工具ax:gRPC通信与调度实战

1. 从"ax"这个标题说起&#xff1a;一个被低估的CLI工具命名逻辑第一次看到"ax"这个标题&#xff0c;很多人会一头雾水。两个字母&#xff0c;没有上下文&#xff0c;没有说明&#xff0c;甚至连项目正文都是空的。但如果你在Kubernetes和agent开发这个圈子… · 2026/9/25 20:59:55

排序算法复杂度实战解析:超越大O的硬件级性能真相
排序算法复杂度实战解析:超越大O的硬件级性能真相

1. 为什么“十大经典排序算法的复杂度分析”不是背公式&#xff0c;而是工程师的底层肌肉记忆你有没有过这样的经历&#xff1a;面试官刚问完“快排平均时间复杂度是多少”&#xff0c;你脱口而出“O(n log n)”&#xff0c;话音未落&#xff0c;对方紧接着一句&#xff1a;“那… · 2026/9/25 20:59:55

开源PS5模拟器KytyPS5终极解析:跨Windows、Linux、macOS三平台运行3D大作的完整技术路线图
开源PS5模拟器KytyPS5终极解析:跨Windows、Linux、macOS三平台运行3D大作的完整技术路线图

开源PS5模拟器KytyPS5终极解析&#xff1a;跨Windows、Linux、macOS三平台运行3D大作的完整技术路线图 【免费下载链接】KytyPS5 PlayStation 5 emulator for Windows, Linux and MacOS 项目地址: https://gitcode.com/gh_mirrors/ky/KytyPS5 KytyPS5 是一款免费、开源的… · 2026/9/25 20:59:48

数值优化(Numerical Optimization)学习系列-03-共轭梯度方法(Conjugate Gradient)
数值优化(Numerical Optimization)学习系列-03-共轭梯度方法(Conjugate Gradient)

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/25 1:00:31

创维E900V22D刷机全攻略:S905L3SB芯片兼容性解析与救砖实战
创维E900V22D刷机全攻略:S905L3SB芯片兼容性解析与救砖实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/25 1:00:31

MQTT协议原理与Broker服务器搭建实战:从Mosquitto到EMQX
MQTT协议原理与Broker服务器搭建实战:从Mosquitto到EMQX

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/25 1:00:37

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码