首页/新闻资讯/正文详情

Google AI Edge Gallery 端侧推理实战指南:从模型选型到企业落地的完整路径

发布时间:2026/9/26 2:57:56 来源:云帆数科 栏目:资讯中心
Google AI Edge Gallery 端侧推理实战指南:从模型选型到企业落地的完整路径
Google AI Edge Gallery 端侧推理实战指南从模型选型到企业落地的完整路径【免费下载链接】galleryA gallery that showcases on-device ML/GenAI use cases and allows people to try and use models locally.项目地址: https://gitcode.com/GitHub_Trending/gallery44/galleryGoogle AI Edge Gallery 是谷歌推出的端侧生成式 AI本地 AI平台在 Android 与 iOS 设备本地离线运行开源大模型。本文拆解它的能力边界、部署要求与 Skill/MCP 扩展方式读完后可以完成环境搭建、模型选型并接入自定义技能与外部工具。 为什么需要本地/离线推理客服记录、合规文档等敏感数据经第三方 API 出网 → 隐私合规审查成本高且依赖外部服务可用性。门店、工厂、外勤等弱网或无网场景 → 云端 API 不可用或延迟不可控业务体验直接受损。云端推理按 token 计费 → 调用频次越高成本线性增长规模化部署预算难以封顶。本地 AI 推理将模型放到终端模型加载完成后推理不依赖外网。它不是宣称云端一定不安全而是为数据不出设备这一诉求提供了可选的工程路径。 环境与快速启动系统要求Android 12 及以上或 iOS 17 及以上另有 macOS 版本DMG无法使用 Google Play 时从官方 release 获取 APK 安装设备内存需覆盖模型白名单中标注的estimatedPeakMemoryInBytes部分 4B 级模型约需 7GB使用 MCP 扩展需可访问的 StreamableHTTP MCP 服务器实验特性自行编译 App 需配置 HuggingFace Developer App模型下载功能依赖安装步骤确认系统版本选择安装渠道Google Play / App Store / release APK安装并打开 App进入 Agent Chat从内置列表选择模型并下载模型来自 Hugging Face发送一条消息观察输出首次验证模型加载成功、在 Agent Chat 收到正常回复 → 环境正常。 核心能力拆解AI Chat 与 Thinking Mode多轮对话是所有能力的入口可随时切换模型。开启 Thinking Mode 可查看模型逐步推理过程Gemma 4 系列起步支持采样参数temperature、top-k、top-p在 Prompt Lab 中可调模型库管理与下载逻辑见 ui/modelmanager/Ask Image 多模态识别用相机或相册图片向视觉模型提问识别物体、解视觉谜题、生成描述推理全程在设备端完成。Audio Scribe 实时转录与翻译对语音录音做实时转写与翻译基于本地高效语言模型适合离线会议纪要、内容转写。Agent Skills 模块化扩展通过SKILL.md 脚本为模型注入新能力意图匹配时模型自动调用无需重复写提示词。三类技能纯文本角色/知识、JS 技能隐藏 webview 沙箱执行可返回图片与交互视图、原生 intent发邮件等系统动作三种加载渠道Featured 列表、URL、本地目录导入adb push后选择技能需要 API key 时走原生对话框输入密钥不经过模型 prompt技能规范与示例见 skills/Mobile Actions 与 Tiny Garden由 FunctionGemma 270m 微调模型驱动的离线设备控制与交互式任务展示小模型 Function Calling 在端侧的落地形态任务扩展点见 customtasks/。模型管理与 MCP 集成内置列表下载模型或加载自定义模型Benchmark 模块测试各模型在本机的实际表现MCP 客户端连接 StreamableHTTP 服务器将工具 schema 注入 prompt调用路由到对应服务器支持逐次授权提示与总是允许开关实验阶段Gemma-4-E4B 工具调用最稳定上下文仅 4k10k token建议只启用必要工具接入步骤与限制见 mcp/️ 技术架构一览协作链路用户输入 → LiteRT/AICore 运行时本地推理 → 模型决策调用工具 → SkillJS webview / 原生 intent或 MCP 服务器执行 → 结果回写对话。Google AI Edge API端侧机器学习核心能力层LiteRT 运行时承担模型执行含 LiteRT-LM 与 AICore 两类运行时见 ModelEnums.kt指标体系每轮推理采集 TTFT、prefill/decode 速度并采样内存与电量MCP 客户端统一对接外部工具与数据源指标实现见 common/metrics/ 行业场景映射金融与合规敏感客服客户身份信息、交易明细不宜出终端用本地 AI Chat 完成咨询应答与记录摘要对应能力端侧 LLM 多轮对话离线可用。零售与外勤弱网场景门店、仓库终端无稳定网络现场语音转写与翻译靠 Audio Scribe商品/单据图像识别靠 Ask Image对应能力离线多模态推理。办公自动化高频低复杂度的邮件草稿、日程类动作由本地小模型触发Mobile Actions 直接驱动run_intent发送邮件等系统动作减少对外部 API 的依赖。 安全与合规推理在设备端完成prompt 与图片不经过网络模型下载、MCP 连接、技能 URL 加载除外提供模型白名单管理model_allowlist.json 与 model_allowlists/ 下的版本化文件约束可用模型集合MCP 工具调用提供逐次授权提示与可关闭的总是允许规则远程动作对用户可见JS 技能在沙箱 webview 中执行所需密钥由用户经原生对话框输入不进入模型上下文提供 ADB 日志输出推理指标common/metrics/具体覆盖范围以代码为准待确认 性能观测与调优内置指标体系按推理轮次记录TTFT首 token 延迟、prefill 速度、decode 速度tokens/s并周期性采样进程内存与电池消耗结果可通过 Benchmark 模块查看。调优建议内存紧张时优先选 int4 等低比特量化、参数更小的模型用 Benchmark 模块在本机实测后再定选型不要跨设备套用经验值接入 MCP 时只启用当前任务必需的工具减少工具 schema 对 4k10k 上下文窗口的占用GPU 加速下个别计算密集工具可能出现数值偏差关键数值场景需回归验证❓ 常见问题Q使用必须联网吗A不必须。模型下载完成后推理全程离线仅模型下载、MCP 服务器连接、从 URL 加载技能需要网络。Q支持哪些模型格式ALiteRTlitertlm格式与 AICore 模型内置白名单提供 Gemma、Qwen 等即用版本也可加载自定义模型文件。Q能否自定义模型白名单A白名单是仓库内的 JSON 文件根级 版本化目录自编译构建时可调整待确认。QMCP 工具调用哪个模型最稳A官方建议 Gemma-4-E4B更小模型可能无法正确解析工具 schema且应只开启必要工具。Q如何添加自定义 SkillA编写含 frontmatter 的SKILL.md按类型放入scripts/JS或声明原生 intent经 Featured 列表、URL 或adb push本地导入后即可被模型自动调用。【免费下载链接】galleryA gallery that showcases on-device ML/GenAI use cases and allows people to try and use models locally.项目地址: https://gitcode.com/GitHub_Trending/gallery44/gallery创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

相关推荐

xberg C 插件管理实战:使用 `ClearRerankerBackends` 清空重排序后端注册表
xberg C 插件管理实战:使用 `ClearRerankerBackends` 清空重排序后端注册表

后端AI 应用NLP 【免费下载链接】xberg Polyglot document intelligence with a Rust core: extract text, metadata, images, tables, and structured data from 106 formats across 140 file extensions, plus code intelligence for 371 languages. Fifteen bindings, with … · 2026/9/26 2:57:56

OpenAI API 500错误排查实战:分层定位与重试策略
OpenAI API 500错误排查实战:分层定位与重试策略

1. 从一次线上告警说起:OpenAI API 500错误到底卡在哪凌晨两点,监控面板突然飘红,业务侧调用OpenAI API的失败率从0.3%飙到27%,日志里清一色刷着500 Internal Server Error。第一反应是官方挂了,跑去status页一看——全… · 2026/9/26 2:57:50

SWE-bench 完整指南:用真实 GitHub Issue 评测你的 AI 编程助手
SWE-bench 完整指南:用真实 GitHub Issue 评测你的 AI 编程助手

SWE-bench 完整指南:用真实 GitHub Issue 评测你的 AI 编程助手 【免费下载链接】SWE-bench SWE-bench: Can Language Models Resolve Real-world Github Issues? 项目地址: https://gitcode.com/GitHub_Trending/sw/SWE-bench AI 编程助手在很多团队已经成… · 2026/9/26 2:57:44

AI生成的室内场景看着宽敞,导入后角色却像巨人?先查这5处尺度基准
AI生成的室内场景看着宽敞,导入后角色却像巨人?先查这5处尺度基准

AI 生成的室内空间、展厅或建筑模型,在概念图里往往显得比例自然:座椅大小合理,门洞足够宽敞,落地开口还能强化空间纵深。可一旦导入 Blender、Unity、Unreal 或网页查看器,再放入一个身高约 1.8 米的角色,… · 2026/9/26 5:48:17

独立开发11年:一款效率软件从免费到盈利的完整复盘
独立开发11年:一款效率软件从免费到盈利的完整复盘

折腾了整整11年,我这个软件今天第一次在收款账户里看到了真正意义上的净利润——扣完税、扣完服务器成本、扣完各种工具订阅费之后,还剩下一笔可以覆盖几个月生活开支的钱。说实话,看到数字那一刻我愣了好一会儿。11年,几千个日日… · 2026/9/26 5:48:17

Linux USB协议栈框架深度解析:从URB机制到驱动开发实战
Linux USB协议栈框架深度解析:从URB机制到驱动开发实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/26 5:48:17

MySQL查看表结构指南:从DESC到information_schema的完整方法
MySQL查看表结构指南:从DESC到information_schema的完整方法

1. 为什么"查看表结构"这件小事,值得单独写一篇说实话,刚接触 MySQL 的时候,我也觉得"查看表结构"不就是一条DESC嘛,有什么好讲的。但这些年做数据库运维、帮团队排查问题、带着新人接手旧项目,遇… · 2026/9/26 5:48:11

MySQL CASE WHEN实战指南:从语法到行转列、批量更新的完整用法
MySQL CASE WHEN实战指南:从语法到行转列、批量更新的完整用法

MySQL的CASE WHEN是我见过的被低估得最惨的SQL功能:很多人只在刷面试题的时候看到过它,真到自己写业务代码,却总是想不起来用。实际上它就是SQL世界里的if-else,却比if-else更值钱,因为判断是在数据库内部完成的&#… · 2026/9/26 5:48:11

AI大模型API统一封装实战:OneAPI与LiteLLM选型、部署与避坑指南
AI大模型API统一封装实战:OneAPI与LiteLLM选型、部署与避坑指南

1. 为什么“统一封装”是AI大模型API调用的刚需1.1 从“一个模型打天下”到“多模型混用”的现实转变两年前做AI应用,接一个OpenAI的接口基本就能覆盖大部分需求。现在情况完全变了——DeepSeek在推理任务上性价比突出,智谱在中文场景表现稳定&#xff0… · 2026/9/26 5:48:11

数据库课后习题答案别硬背:当测试用例集刷,效率翻倍
数据库课后习题答案别硬背:当测试用例集刷,效率翻倍

简介:万常选版《数据库原理与设计》课后习题答案资源,覆盖第2至6章及第9章,适合正在学习关系模型、数据库建模、关系数据理论与模式求精的本科生、自学者作为复习与自测材料。压缩包共7个文件,含3个doc参考答案、2个sql示例脚本、… · 2026/9/26 0:00:21

OpenClaw 替代品?Hermes Agent 踩坑实录:macOS 飞书接入 TaoToken 配置
OpenClaw 替代品?Hermes Agent 踩坑实录:macOS 飞书接入 TaoToken 配置

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/26 0:00:40

向下兼容与向上兼容:接口设计中的兼容性策略与工程实践
向下兼容与向上兼容:接口设计中的兼容性策略与工程实践

一次版本升级事故,是很多团队绕不过去的坎。线上环境里,服务端明明已经上线了新版接口,老的移动端还在照着旧文档传参数。请求一到网关,校验直接拒绝,用户操作失败,客服群炸了锅,开发群里开始互… · 2026/9/26 0:00:46

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码