首页/新闻资讯/正文详情

字节跳动联合港大推出 Mini-o3!专治 AI 视觉推理 “没耐心”,训练 6 轮能推理几十步

发布时间:2026/11/4 11:22:16 来源:云帆数科 栏目:资讯中心
字节跳动联合港大推出 Mini-o3!专治 AI 视觉推理 “没耐心”,训练 6 轮能推理几十步
想要掌握如何将大模型的力量发挥到极致吗叶梓老师带您深入了解 Llama Factory —— 一款革命性的大模型微调工具。1小时实战课程您将学习到如何轻松上手并有效利用 Llama Factory 来微调您的模型以发挥其最大潜力。CSDN教学平台录播地址https://edu.csdn.net/course/detail/39987视频号直播分享sphuYAMr0pGTk27 抖音号44185842659现在不少开源视觉语言模型处理复杂图像搜索时总掉链子要么只会简单推理、套路单一要么交互轮次少得可怜碰到需要反复试错探索的任务就歇菜 —— 比如找张图里某个小字往往没翻几页就放弃了。针对这个问题字节跳动和香港大学团队提出了 Mini-o3一套能实现深度多轮推理的视觉搜索系统就算训练时最多只练 6 轮测试时照样能推理几十步还能在高难度视觉任务里拿第一。Mini-o3 的核心工作流程要让 Mini-o3 有这本事核心靠三个关键设计。首先是建了个叫 Visual Probe 的数据集里面全是高难度视觉搜索题比如小目标藏在复杂背景里、还有一堆干扰物像图 4 里找 “OLU86130” 下面的文字不反复放大探索根本找不着这就逼着模型练出试错能力。然后是一套迭代式数据收集流程先手动写几个多轮推理的示范案例再让现有视觉语言模型模仿这些案例生成从思考到操作的完整轨迹 —— 比如先想 “该放大哪块区域”再执行操作最后看结果只留下能答对的轨迹。这样一来模型刚开始训练就能接触到多样的推理模式比如深度优先搜索、目标维护这些不会一上来就只会走捷径。最关键的是 “超轮掩蔽” 策略。以前训练时要是模型推理轮次超了限制就会被硬给 0 分惩罚结果模型为了不挨罚总早早瞎猜答案。Mini-o3 反其道而行把超轮的轨迹 “屏蔽” 掉不奖也不罚这样模型就敢放心多推理几步。从图 1 能明显看出来测试时把最大推理轮次从 4 调到 32Mini-o3 的准确率还在涨而没加这个策略的版本Mini-o3 w/o over-turn mask准确率一直上不去足见这招多管用。实际用起来Mini-o3 的推理过程特别像人解难题。比如图 2 里找 “CINKER PICTURES” 下面的文字它会先尝试放大某个区域发现找错了就退回去换个地方来来回回试 11 轮最后才找到 “SHANGHAI”还有图 9 里找 “PRAKING” 下面箭头方向也是反复调整放大区域甚至会纠正自己 “刚才看错字了应该是 PARKING”最后确定箭头朝右。这种会试错、会回头的能力是以前很多模型没有的。性能上 Mini-o3 更是碾压不少开源对手。看表格 1在 VisualProbe 的难例测试里它准确率 48.0%比第二名 DeepEyes 的 35.1% 高一大截就算在普通任务比如 V* Bench 上也能拿到 88.2% 的成绩跟一些专门优化的模型打平。而且 ablation 实验也证明少了冷启动数据或者超轮掩蔽性能会掉不少比如没超轮掩蔽时模型平均推理轮次直接从 5.6 降到 3.0复杂题根本解不了。值得一提的是Mini-o3 训练效率还高把训练轮次上限从 12 降到 6训练时间从 10 天缩到 3 天 accuracy 却没怎么降。这对想复现或者二次开发的团队来说门槛低了不少。权重 / 设置https://huggingface.co/Mini-o3仓库https://github.com/Mini-o3/Mini-o3论文https://arxiv.org/abs/2509.07969

相关推荐

基于Springboot火锅店管理系统【附源码+文档】
基于Springboot火锅店管理系统【附源码+文档】

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 11:21:14

优化Hermes Agent的API速率限制实现:算法与配置全指南
优化Hermes Agent的API速率限制实现:算法与配置全指南

优化Hermes Agent的API速率限制实现:算法与配置全指南 在当今API驱动的应用开发中,有效的速率限制管理是确保服务稳定性和可靠性的关键因素。Hermes Agent作为一款功能强大的AI代理框架,其内置的速率限制机制能够帮助开发者避免API调用超限、… · 2026/11/4 11:21:14

Django时区感知
Django时区感知

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 11:21:14

【研发类-测试开发Skills】deployment-validation-config-validate 技能
【研发类-测试开发Skills】deployment-validation-config-validate 技能

配置管理专家,专注于验证、测试和确保应用程序配置的正确性。创建全面的验证模式,实施配置测试策略。 ⚠️ 风险等级:关键 - 此技能涉及关键操作,请格外谨慎使用。 技能概述 deployment-validation-config-validate 技能是配置… · 2026/11/4 12:05:57

OCPP1.6 StartTransaction 启动充电失败全场景排查
OCPP1.6 StartTransaction 启动充电失败全场景排查

OCPP1.6 StartTransaction 启动充电失败全场景排查 标签:java websocket OCPP1.6 充电桩 CSMS StartTransaction 充电事务 简介:鉴权通过、枪也插上了,用户点"开始充电",平台却怎么都不开账,这是联调里最让人… · 2026/11/4 12:05:57

【Linux操作系统】进程篇(七):环境变量:程序运行时的那些信息,到底从哪里来?
【Linux操作系统】进程篇(七):环境变量:程序运行时的那些信息,到底从哪里来?

一、先认识环境变量:它到底是什么? 先建立一个流程接下来细节理解 我们平时使用 Linux 的时候,经常会输入各种命令,比如: ls pwd gcc这些命令都可以直接运行。但是,当我们自己写了一个 C 语言程序&#xff… · 2026/11/4 12:05:57

Agent 开发核心知识点:从 Chatbot 到会干活的模型
Agent 开发核心知识点:从 Chatbot 到会干活的模型

前言Chatbot 只会聊天,Agent 会调用工具、拆解任务、自己纠错。这一波 AI 应用落地的核心就是 Agent。这篇不讲虚的,讲清楚 Agent 的循环结构、Function Calling 的机制和工程上必须处理的问题。一、Agent 的组成 一个 Agent 通常包含四部分:… · 2026/11/4 12:05:57

超立方体Ramsey|H11-D141~D145|超立方体Ramsey形式化审计:多尺度归纳基座闭合、七项参数全支付与G3/G4范围验收
超立方体Ramsey|H11-D141~D145|超立方体Ramsey形式化审计:多尺度归纳基座闭合、七项参数全支付与G3/G4范围验收

超立方体Ramsey|H11-D141~D145|超立方体Ramsey形式化审计:多尺度归纳基座闭合、七项参数全支付与G3/G4范围验收 专栏:ER-03 攻坚日志|Valhalla-MathBounty-Forge 版本:v1.0.0|Lean4.32 隔离编译… · 2026/11/4 12:05:57

大模型小白入门:揭秘ChatGPT如何预测下一个字,收藏这篇轻松上手!
大模型小白入门:揭秘ChatGPT如何预测下一个字,收藏这篇轻松上手!

本文用7张示意图,深入浅出地解析了大语言模型(LLM)的技术链条。核心在于,LLM通过不断预测下一个字元来运作,从将语言数字化、预训练到生成回答,再到指令微调和人类反馈强化学习,最终形成强大的语… · 2026/11/4 12:04:56

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 3:16:49

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 6:59:29

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 7:02:38

AI辅助技术栈评估:提升研发决策效率60%
AI辅助技术栈评估:提升研发决策效率60%

1. 项目背景与核心价值技术决策一直是研发团队面临的重大挑战。随着技术生态的快速演进,技术栈的选择、维护和迭代变得愈发复杂。我们团队在过去两年里,先后经历了三次重大技术栈迁移,每次都需要投入大量人力进行技术评估和风险分析。直到去年… · 2026/11/4 0:00:17

从生成Token到直接决策:Jev如何重塑AI Agent工程实践
从生成Token到直接决策:Jev如何重塑AI Agent工程实践

1. 从"生成文字"到"拍板决策":Jev 到底在解决什么问题大多数人第一次接触大模型,脑子里建立的模型是"输入问题、输出文字"。你问它今天天气怎么样,它给你一段描述;你让它写个周报,它给你… · 2026/11/4 0:00:17

32G统一内存跑大模型:内存账、TPS实测与端云分流
32G统一内存跑大模型:内存账、TPS实测与端云分流

想在一台 32G 统一内存的小主机上把大模型跑成"日常可用",这件事我前后折腾了小半年。标题里说的这台 Mac mini M6,是我们这次讨论的目标平台,具体到手规格以实物为准;但下面这套推算方法和实测思路,对任何统… · 2026/11/4 0:00:17

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 3:16:49

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 6:59:29

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 7:02:38

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码