AI 技术拾新｜2026 年 10 月：多模态检索、文档解析与智能体复用

每月精选值得关注、值得复用的 AI 新技术。本期窗口北京时间 2026 年 10 月 1—31 日资料核查2026 年 11 月 2 日。找到一段视频未必要记住文件名处理一批 PDF也不应该因为网页等待超时就从头再来。本月一些值得复用的进展正落在这些具体问题上。这一期挑出六项技术与工程进展从本地多模态检索到可恢复的文档处理再到智能体的执行、协作和效果验证。有些可以借用代码有些最值得借用的是方法。文中的业务案例为应用设想所有项目仅核查公开资料未安装或实测。厂商性能与论文结果不代表在你的任务中能获得同样效果。01多模态检索用一句话找回图片和视频维修人员想找“上次漏水的那个阀门”但照片只有日期编号。传统办法需要先补标签或者把图片转成文字描述再做搜索。Google 在 10 月 6 日介绍的EmbeddingGemma 2尝试让文字、图片、视频帧和音频进入统一的向量空间。可以把它理解为一套“内容坐标”用户的描述与素材内容越接近就越容易匹配。实际链路可以是输入一句现场描述 → 在本地比较素材与查询 → 返回相关照片或视频时间点。官方 AI Edge Gallery 提供了相关检索示例。官方原理与示例值得借用的是跨媒体搜索机制。它可以迁移到教学录像、设计素材和设备影像库减少人工逐条标记的工作。不过语义相近并不意味着事实正确找到疑似故障的照片仍需要人判断。接入也需要索引、检索界面与设备适配端侧运行表现要在目标设备上验证。复用判断有大量图片或视频、文件名又无法表达内容时值得小范围试验。只处理文字资料的系统可以继续使用普通检索。02MinerU 4.1让文档处理任务能查询、取消和恢复把 PDF 变成文本已经不新鲜。更难的是几百份资料一起处理时哪些完成了某个文件卡住后怎么办网页断开后任务是否还在MinerU 4.1在 10 月 29 日的发布记录中引入统一的异步 Tasks 接口以及支持超时后继续查询、通过请求 ID 恢复已知任务的解析服务。这是把文档解析接入实际业务时有用的变化。4.1 发布记录例如一个培训机构要整理历史讲义上传文件清单 → 服务逐份解析前端查询进度 → 下载结构化结果并单独处理失败项。相比一直等待一次长请求这种方式更适合批处理和可见的进度反馈。需要区分两件事任务可以恢复解决的是执行问题表格是否少了一列解决的是内容质量问题。后者仍要拿真实样本验收。复用判断可借用解析服务和任务接口需要研发接入。4.1 包含破坏性 HTTP 接口变更升级时必须协调服务端与客户端已有系统不能直接替换后就假定兼容。官方还介绍了跨平台硬件加速但本文不引用其速度作为选型承诺。03Deep Agents长任务需要一套执行支撑让 AI 调查一个项目单次问答或许够用。让它连续读文件、调用工具、保存材料并交付结果就需要处理上下文、过程状态和中间产物。Deep Agents把这类执行支撑打包在一起。官方仓库介绍了文件操作、上下文管理、子任务委派和按需加载 Skills 等能力。它建立在 LangGraph 等组件之上属于可扩展的智能体执行框架。官方仓库与示例设想一个课程资料整理任务输入课程主题和资料目录 → AI 制定步骤、读取资料、保存中间笔记 → 输出带来源的教学提纲。文件系统可以承接较长的中间材料减少把所有内容都塞进对话的需要。本月值得留意的是执行可观测性10 月 23 日发布页列出的 0.7.31 将执行输出保留信息加入追踪0.7.32 则优化 SDK 导入。这些是工程增量不能写成“本月首次具备长任务能力”。版本记录复用判断适合有开发资源、任务步骤经常变化的应用。可复用框架与中间件需要另接模型、资料工具与验收器。步骤固定的报表生成通常先用普通工作流更容易控制只有动态判断带来收益时再增加 Agent。04AgentScope专家团怎样交接才比一个 AI 更有用供应商评估可以拆成技术兼容、交付条件等独立问题。这时多个 AI 并行处理可能有价值。前提是每个成员都能交付可核对的结果。AgentScope 的TeamPipeline提供领导者委派任务、成员并行执行并交回结果的机制实验性 SOP 则围绕有顺序、需验证的里程碑组织任务。两者在 9 月已发布。10 月的 2.0.10、2.0.11 继续补强文档解析、工具执行等环节2.0.11 还列出批量语音转写支持。官方版本记录一个可行的评估链路是输入同一版供应商资料 → 主 AI 分派问题成员返回结论、证据和缺失项 → 汇总为对比表。这里的“专家”需要专业资料、工具和质量标准。只有角色名称不能保证专业判断。建议由主流程维护任务状态成员使用一致的资料快照发生分歧时回查原文无法消解则交人判断再由未参与生成的检查步骤验收。这些是业务设计要求并非框架自动保证。复用判断可借用调度与流程组件但要自己定义交接格式、共享状态、验证规则及停止条件。设置总预算、超时和最大轮数比较同预算的单 Agent如果结果没有改善就不必保留团队。代码入口见 AgentScope 仓库。05SWE-Skills-BenchSkill 值不值得用可以做对照实验Skill 可以把工作步骤、脚本和参考材料交给 AI 按需使用。但加上这些内容后任务真的完成得更好吗10 月 27 日更新的SWE-Skills-Bench v2提供了一种具体检验方式固定仓库、任务和模型配置分别运行有 Skill 与无 Skill 的版本再用可执行检查比较结果。论文与版本历史作者报告在所测的 98 个软件工程 Skills 中92 个没有统计显著效果平均通过率从 76.6% 变为 76.9%。这是作者在特定软件任务和配置下的结果不能扩展成所有 Skills 的结论。更值得复用的是方法输入同一任务与一个 Skill → 成对执行并验收 → 得到有效、无效或有副作用的证据。如果一个文档 Skill 能稳定补上原本遗漏的表格校验它就有明确价值如果只是增加泛泛要求就需要重新判断。复用判断公开评测代码可以作为研发参考非代码任务需要重新设计评分。先选一个具体 Skill 做对照比一次安装整个技能库更容易知道收益来自哪里。评测代码06模型与执行框架匹配失败未必只靠换模型解决10 月 23 日提交的论文When Agents Fail: Model or Harness—Who’s to Blame?把模型与执行框架作为组合来评估而非只比较模型本身。论文正文研究区分了“任务答对没有”和“能否正常完成并交出可评估结果”。作者在多组模型、框架及基准的测试中发现框架排名会随模型与任务变化。这仍是待独立复现的论文结论。对实际产品来说可以借用这样的诊断链路输入一组失败任务和执行日志 → 区分推理错误、工具错误、超时和交付失败 → 决定改模型、工具还是流程。假如资料分析内容正确但结果文件没有保存更换更贵的模型未必对症。相比只看最终分数分类记录失败原因能让改进更具体代价是需要日志、可检查产物和重复测试。复用判断本次未确认独立评测工具包的可用入口因此推荐复用评测维度与诊断方法不把论文描述成开箱即用的产品。把这些进展放进同一张选型图文档解析负责把资料读出来检索负责找到相关内容Skill 负责提供做事方法工作流负责安排固定步骤Agent 负责动态决定下一步专家团负责可拆分的协作。这些组件可以组合增加其中一项都应该有具体理由。比如设备知识库可以先用解析与检索生成标准培训包可以再加固定工作流遇到需要临时补查和分工的任务才考虑动态 Agent。本月最值得做的三个小试验试验一让一批文件“断了也能接着处理”准备 20 份公开或脱敏的 PDF 与讲义以当前人工或同步解析流程为基线。最小范围只接 MinerU 的提交、查询、取消和下载输出文件结果及失败清单。验收时同时看两组指标中断后能否查询到任务、是否重复创建任务人工标注字段的完整率和错误率。先设一个建议门槛关键字段完整率达到 95%且数值错误全部进入复核再决定扩大范围。该门槛是试验目标尚未验证。试验二用自然语言找素材选 100 张图片与 10 段视频人工标出 30 条查询的正确结果。以文件名或标签搜索为基线只做本地索引、查询和候选展示。预期输出候选素材与时间点。比较前五个结果的命中率并记录索引时间、查询延迟和内存。若命中率没有提升就先检查素材与查询不急着扩大模型。试验三用同一预算比较三种做法选 10 个可验证的资料分析任务分别采用单 Agent、单 Agent 加一个 Skill、分工团队。固定模型、资料、工具权限与总预算只开放只读工具。输出同格式结论与证据表比较正确率、引用有效率、耗时和费用。建议每任务最多 10 分钟、两轮修订超时返回部分成果。只有质量或效率有明确收益才保留新增的 Skill 或协作结构。复用入口与核查说明本期通过官方工程博客、GitHub 发布记录和 arXiv 原论文发现与核查内容。以下均为资料核查未部署、未实测仓库当前说明不自动等于窗口内所有版本的能力。对象复用入口与条件时间及授权注意EmbeddingGemma 2官方文章链接的 Gallery 示例自建索引与界面需要研发10 月 6 日介绍模型条款与示例代码许可需分别核对MinerU 4.1仓库、解析服务与 Tasks APIPython 3.11—3.144.1.0 于 10 月 29 日发布许可基于 Apache 2.0 并含附加条件不能当作纯 Apache 2.0Deep AgentsMIT 代码、SDK 与中间件需模型及业务工具发布页 10 月 23 日列出 0.7.310.7.32模型和托管服务费用另计AgentScopeApache 2.0 代码、团队和流程组件需定义业务验收本月 2.0.102.0.11团队与 SOP 为 9 月功能SWE-Skills-Bench公开评测仓库需执行环境与模型调用v2 更新于 10 月 27 日代码、数据及被测项目授权分别核对模型与框架匹配研究论文方法与指标需自建业务日志和验收10 月 23 日预印本本文未复现实验本期不列 Star 增长没有可用于月度比较的同口径历史数据。所有应用建议与试验设计均为本文判断。——AI 技术拾新发现新能力理解新机制找到可以复用的部分。