首页/新闻资讯/正文详情

多模态Agent重构手机交互:从唤醒式到持续感知式

发布时间:2026/11/22 0:12:27 来源:云帆数科 栏目:资讯中心
多模态Agent重构手机交互:从唤醒式到持续感知式
本文整理自 AICon 上海分享「从唤醒到陪伴多模态 Agent 如何重构手机交互范式」演讲者刘鹏通过AI音视频总结工具Ai好记转录整理以下为视频转文字后精炼整理的内容。手机AI助手的范式演进手机上的AI助手正在经历一次根本性的升级。从简单的语音问答「帮我定个闹钟」进化到具备屏幕理解、实景交互、伴随记忆和跨应用执行能力的多模态Agent。三代的演进可以这样看阶段代表能力交互方式第一代传统语音助手简单的知识问答唤醒→提问→回答第二代屏幕理解看懂屏幕内容并操作唤醒→截图理解→操作第三代持续感知Agent实时感知记忆跨应用执行持续待命→自主决策OPPO在这个方向上做了两个重要的产品探索「小布伴随」和「X-OmniClaw」。小布伴随实时感知型Agent小布伴随是一个「能够持续感知手机屏幕内容、随时回答用户问题」的Agent。它的核心设计原则是三个词快、准、省。首包优先作为实时交互产品小布伴随的核心理念是「首包优先」——把「第一时间给出响应」作为最高优先级即使初始响应不完美也优于让用户长时间等待。这与后台常规Agent的设计形成鲜明对比对比维度后台常规Agent实时Agent小布伴随设计目标追求复杂任务准确性追求低延迟快速响应推理轮次多轮思考、多次工具调用单次编排、轻量模块容错策略循环试错前置路由、快速给答案延迟容忍度高极低提问瞬间重建一个关键的技术点是「提问瞬间重建」。用户说「刚刚那个」的时候指的并不是语音结束的那个瞬间而是ASR语音识别开始的时刻。小布伴随通过精准锚定提问时间点并结合前后帧策略确保系统能理解用户所指的「瞬间」是哪一帧画面从而给出准确答案。流式记忆系统在手机上做伴随式Agent记忆系统不能太重。OPPO的取舍是采用「全局总结类记忆」作为主要方案——每次交互后对整个对话做一次简短的总结性记录作为下次交互的上下文。这样的设计比复杂的记忆框架更轻量、更稳定。候选式链路编排为了兼顾灵活性和响应速度小布伴随采用「候选式链路编排」——针对常见场景预设多条候选执行链路运行时根据输入动态选择最匹配的一条执行。这样避免了每次都需要完整推理从头规划大幅降低了端到端延迟。X-OmniClaw执行型移动Agent如果说小布伴随是「感知型Agent」那X-OmniClaw就是「执行型Agent」——它能在真实的手机环境中自主操作App、完成复杂任务。三大核心能力能力名称说明跨模态感知Omni Perception理解屏幕内容、语音、手势记忆Omni Memory记住用户偏好和操作历史行动Omni Action在App内执行点击、输入、滑动轨迹克隆执行这是X-OmniClaw的一个亮点功能。当Agent成功执行过一次复杂操作流程后这条「轨迹」会被沉淀下来经过分析和优化比如删除冗余步骤、将多步操作替换为一步直达的Deeplink再后续遇到相同或相似的指令时可以直接调用优化后的轨迹无需重新推理每一步。最终效果执行效率和成功率大幅提升。工程落地原则快而可控OPPO在工程落地上有一个清晰的取舍原则宁可稳定慢一点也不要花哨但不可控。几个具体的做法模型假设规则裁剪不完全依赖模型做所有决策。模型给出判断假设规则层做最后的裁剪和校验。这样即便模型输出有偏差规则层也能兜底。学术方法的实用化取舍对于学术前沿方法如复杂的记忆森林OASIS框架OPPO评估后发现虽然学术数据集上效果好但线上用户实际使用中复杂场景占比极低。最终选择了更简单、更稳定的方案。低延迟优先任何增加延迟的特性都要经过严格评估能不做的就不做。未来的手机交互意图驱动OPPO对未来手机交互的预测是操作系统将进化为以AI为核心驱动的智能系统。几个关键变化App的角色将分裂一方面保留为人类设计的沉浸式UI体验另一方面必须将其核心功能注册为AI可调用的标准化接口Function。可发现性和可调用性与UI体验变得同等重要。交互入口改变用户不再需要「打开某个App」而是「表达我想要的意图」由系统级AI自动调度跨应用、跨设备的能力来完成。端侧智能成核心为了满足实时性的要求大量推理需要在端侧完成云端只是补充。端侧模型的能力和效率将决定体验的上限。FAQQ小布伴随目前支持哪些场景A主打屏幕理解类的场景——看图识物、看视频回答问题、看网页做总结等。执行类任务由X-OmniClaw负责。Q轨迹克隆执行会不会导致Agent能力固化A不会。轨迹是「候选优化方案」而非「唯一路径」。当新场景与已有轨迹不匹配时Agent会重新推理新路径成功执行后可以沉淀为新轨迹。Q端侧模型现在能做到什么水平AOPPO没有透露具体模型规格但从产品表现来看端侧模型已经能完成屏幕理解、简单推理和指令执行。以上内容由 Ai好记 转录整理。Ai好记是一款音视频转图文笔记的AI音视频总结工具支持解析B站、抖音、小红书、小宇宙等平台链接及本地音视频文件转录后自动生成精华速览、要点总结、思维导图和结构化笔记等内容帮助你把几小时的视频内容变成可搜索、可复习的图文笔记。

相关推荐

部署 Hermes 频繁闪退、dll 缺失?完整图文实操,一次性解决 99% 启动异常
部署 Hermes 频繁闪退、dll 缺失?完整图文实操,一次性解决 99% 启动异常

🔍前言 对于希望体验 Hermes Agent 强大办公能力的 AI 工具用户而言,复杂繁琐的环境配置往往构成了较高的上手门槛。从手动安装依赖、调整系统路径,到处理命令行报错、修复权限异常、补全缺失的核心文件……这一系列技术难题,使得… · 2026/7/31 5:28:48

AI神盾平台:平安人寿金融生态中的智能风控实践
AI神盾平台:平安人寿金融生态中的智能风控实践

本文整理自 AICon 上海分享「AI神盾平台在金融生态中的智能风控实践」(演讲者:黄佳豪),通过AI音视频总结工具 Ai好记进行视频转文字整理,以下为精炼整理后的内容。风控体系的演进路径 金融风控正在经历从规则驱动到AI驱… · 2026/11/5 8:10:34

MSP430FG66x混合信号MCU:高精度数据采集与超低功耗设计实战
MSP430FG66x混合信号MCU:高精度数据采集与超低功耗设计实战

1. 项目概述:为什么我们需要一颗“全能型”的混合信号MCU? 在嵌入式系统设计的江湖里,我见过太多工程师为了一个看似简单的传感器项目,在PCB上堆满了各种芯片:一颗主控MCU、一颗高精度ADC、一颗DAC、几颗运放做信号调理… · 2026/9/20 7:12:18

苏州电工证到哪里复审保姆级教程:工地太忙根本没时间复习考试
苏州电工证到哪里复审保姆级教程:工地太忙根本没时间复习考试

苏州电工证到哪里复审保姆级教程:工地太忙根本没时间复习考试 工地太忙根本没时间复习考试,这是很多电工朋友的真实写照。尤其是像苏州这样建筑行业发达、项目密集的地方,电工证复审成了一个让人头疼的问题。如果你正在为“苏州电工证到哪里复审”而发愁,… · 2026/11/22 0:12:01

电工证最高级证丢了怎么补办 别踩坑
电工证最高级证丢了怎么补办 别踩坑

电工证最高级证丢了怎么补办 别踩坑 之前考的证在外省能不能转过来?这个问题我听得太多了,尤其是像你这样在驻马店转岗的电工,手里握着【电工证最高级】,却因为异地工作、证件丢失或者证书级别搞不清,导致工作受限,甚至影响职业发展。今天就拿一个真实… · 2026/11/22 0:12:01

双流哪里可以学电工证怎么报名 薪资前景与职业发展全解析
双流哪里可以学电工证怎么报名 薪资前景与职业发展全解析

双流哪里可以学电工证怎么报名 薪资前景与职业发展全解析 你还在为找不到电工证而发愁?特种作业证是进入电工行业的“通行证”,尤其是在双流这样的工业集中地, 急需特种作业证才能上岗找工作 ,否则连面试资格都没有。本文从实际出发,结合… · 2026/11/22 0:12:01

电工工作业绩考核值不值得考?河南市政电工避坑指南
电工工作业绩考核值不值得考?河南市政电工避坑指南

电工工作业绩考核值不值得考?河南市政电工避坑指南 你是不是也这样?不知道去哪报名怕被中介坑,电工工作业绩考核值不值得考?说实话,我懂你,也见过太多人因为不了解流程,最后花了冤枉钱还拿不到证。别急,这篇文章就是来帮你搞清楚电工工作业绩考核到底… · 2026/11/22 0:12:01

广安哪里办电工证?郑州报考避坑指南全攻略
广安哪里办电工证?郑州报考避坑指南全攻略

广安哪里办电工证?郑州报考避坑指南全攻略 之前考的证在外省能不能转过来?这几乎是每个想在广安从事电工工作的人都会问的问题。如果你手里有一本外地的电工证,又想在广安继续干这行,那么这篇文章就是为你准备的。不仅告诉你如何将证“转”到广安,还带你… · 2026/11/22 0:12:01

电工证资格证高级证丢了怎么补办 多久拿证能解决你的心病
电工证资格证高级证丢了怎么补办 多久拿证能解决你的心病

电工证资格证高级证丢了怎么补办 多久拿证能解决你的心病 之前考的证在外省能不能转过来?这个问题困扰了不少在外地工作、想回老家发展的特种作业人员。尤其是像你这样在信阳浉河区从事公路工程的电工,手中持有的电工证资格证高级证丢了,补办流程复杂,时… · 2026/11/22 0:11:01

平价的电工证查询保姆级教程:别被中介坑,一步步教你搞定
平价的电工证查询保姆级教程:别被中介坑,一步步教你搞定

平价的电工证查询保姆级教程:别被中介坑,一步步教你搞定 你是不是也经常在网上看到“平价的电工证查询”这样的关键词,但又不知道去哪报名,怕被中介坑?特别是像你这样的平顶山学员,既想考个正规电工证,又怕花冤枉钱走弯路。别担心,这篇保姆级教程就是… · 2026/11/22 0:00:42

麻阳考电工证在哪里考内部消息你知道吗
麻阳考电工证在哪里考内部消息你知道吗

麻阳考电工证在哪里考内部消息你知道吗 不知道去哪报名怕被中介坑, 内部消息 告诉你,麻阳考电工证不一定要去外地,本地其实也有正规渠道,但很多人因为不了解流程和资质,反而被坑了钱还考不到证。今天我就从一个干了这么多年特种作业培训的“老江湖”角… · 2026/11/22 0:00:43

揭阳普宁电工证换证怎么操作?良心建议帮你理清流程
揭阳普宁电工证换证怎么操作?良心建议帮你理清流程

揭阳普宁电工证换证怎么操作?良心建议帮你理清流程 之前考的证在外省能不能转过来?这是很多已经在外地工作、现在想回揭阳普宁发展的电工朋友最关心的问题。如果你也是其中之一,那这篇文章就是为你们量身定制的,从换证流程到避坑建议,良心建议全给你讲透… · 2026/11/22 0:00:43

平价的电工证查询保姆级教程:别被中介坑,一步步教你搞定
平价的电工证查询保姆级教程:别被中介坑,一步步教你搞定

平价的电工证查询保姆级教程:别被中介坑,一步步教你搞定 你是不是也经常在网上看到“平价的电工证查询”这样的关键词,但又不知道去哪报名,怕被中介坑?特别是像你这样的平顶山学员,既想考个正规电工证,又怕花冤枉钱走弯路。别担心,这篇保姆级教程就是… · 2026/11/22 0:00:42

麻阳考电工证在哪里考内部消息你知道吗
麻阳考电工证在哪里考内部消息你知道吗

麻阳考电工证在哪里考内部消息你知道吗 不知道去哪报名怕被中介坑, 内部消息 告诉你,麻阳考电工证不一定要去外地,本地其实也有正规渠道,但很多人因为不了解流程和资质,反而被坑了钱还考不到证。今天我就从一个干了这么多年特种作业培训的“老江湖”角… · 2026/11/22 0:00:43

揭阳普宁电工证换证怎么操作?良心建议帮你理清流程
揭阳普宁电工证换证怎么操作?良心建议帮你理清流程

揭阳普宁电工证换证怎么操作?良心建议帮你理清流程 之前考的证在外省能不能转过来?这是很多已经在外地工作、现在想回揭阳普宁发展的电工朋友最关心的问题。如果你也是其中之一,那这篇文章就是为你们量身定制的,从换证流程到避坑建议,良心建议全给你讲透… · 2026/11/22 0:00:43

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/21 15:19:37

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/21 15:19:30

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/21 15:19:32

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码