首页/新闻资讯/正文详情

Google AI Edge Gallery 使用指南:在手机上部署离线大模型,从安装到自定义任务

发布时间:2026/9/26 3:01:24 来源:云帆数科 栏目:资讯中心
Google AI Edge Gallery 使用指南:在手机上部署离线大模型,从安装到自定义任务
Google AI Edge Gallery 使用指南在手机上部署离线大模型从安装到自定义任务【免费下载链接】galleryA gallery that showcases on-device ML/GenAI use cases and allows people to try and use models locally.项目地址: https://gitcode.com/GitHub_Trending/gallery44/gallery公司里的客户对话、生产记录这类敏感数据往往不允许发到外部服务器而工厂产线、仓库等现场环境网络也未必稳定——这两个问题都指向同一个需求能不能把 AI 直接装在设备上跑Google AI Edge Gallery 就是为此做的一款应用它让开源大模型LLMLarge Language Model即大语言模型在你的手机或平板上本地推理处理对话、图片识别、语音转写和移动设备控制等任务。模型加载完成后所有功能断网也能用你的提问和图片不会离开设备。一、安装要求与获取方式Android 端系统需为 Android 12 及以上版本可直接从 Google Play 商店安装不便访问商店的企业设备可从项目最新 release 下载 APK 自行安装。内存方面官方建议设备至少配备 6GB RAM否则加载和推理大模型会比较吃力。项目计划于 2026 年初在 iOS App Store 上线macOS 版本也已提供下载。二、端侧推理的技术栈应用底层的推理链条由三层组成Google AI Edge API——谷歌提供的设备端机器学习核心接口负责与硬件打交道LiteRT——一个轻量级运行时可以理解为负责在手机上高效执行模型计算的引擎它对模型做了针对性优化LLM 推理层——真正运行大语言模型的部分所有推理都在设备本地完成不产生云端调用。正因为这套组合完全跑在本机硬件上隐私保护和离线可用性是架构自带的而不是额外附加的功能。三、部署与管理自定义模型模型的下载、切换和删除集中在模型管理模块完成其源码位于 ModelManagerViewModel.kt。使用上支持三种路径从内置列表选择开源模型通过 Hugging Face 集成直接发现并下载导入自定义模型格式为 LiteRT 的.litertlm文件适合已经用其他工具转换好模型的团队通过模型白名单机制限制组织内设备可分发的模型范围便于统一管理。如果要从源码构建应用仓库根目录的 DEVELOPMENT.md 有完整的本地构建说明需要 clone 时使用 https://gitcode.com/GitHub_Trending/gallery44/gallery 即可。四、四个典型使用场景多轮对话与智能客服Agent Chat 支持多轮上下文并内置思考模式可以展开查看模型逐步推理的过程目前从 Gemma 4 系列模型开始支持。图片识别与分析用摄像头拍摄或从相册选图模型可识别物体、解答视觉谜题、生成详细描述全部离线完成。音频转写与翻译语音录音可实时转成文字并翻译基于设备端语言模型处理适合没有网络的会议记录场景。设备控制Mobile Actions 功能利用 FunctionGemma 270m 微调模型实现离线的设备操作和自动化任务。五、扩展能力接入自定义技能 应用提供了 Agent Skills 技能框架用来给模型加装工具。一个技能就是一个文件夹其中的 SKILL.md 描述技能名称和用途模型判断任务相关时会自行调用。技能分三类纯文本型给模型注入角色或知识、JavaScript 型在隐藏 webview 中执行脚本例如生成二维码、画交互地图、原生型调用系统能力如发邮件、发短信。内置和社区技能示例见 skills 目录。面向需要自研功能模块的团队应用采用自定义任务Custom Task架构组织代码各场景模块位于 customtasks 目录开发者可以参照现有模块的结构实现自己的任务。六、查看性能指标与基准测试部署前的核心问题是我的设备跑得动哪个模型、速度如何。应用内置 Benchmark 基准测试功能可以测量两个关键指标TTFTTime To First Token从发出请求到吐出第一个字所用的时间反映响应快慢解码速度模型持续生成文字的速度决定长回答的等待时间。测试在真实硬件上运行因此结果比纸面参数更有参考价值。选模型时先跑一轮基准测试再决定用哪一版是较稳妥的做法。另外应用还提供 Prompt Lab 实验区可调节 temperature、top-k 等参数专门测试提示词效果。七、使用边界与注意事项最后需要明确几点限制避免期望错位当前版本仍处于实验性 Beta 阶段功能和稳定性会持续变动反馈渠道在项目的 issue 区端侧模型的体积和上下文都受手机硬件限制官方文档提到端侧模型的上下文窗口一般在 4k10k token 量级长文档类任务要提前做拆分应用启用 GPU 加速来降低延迟但部分手机 GPU 内核在浮点高精度运算上与 CPU 的一致性有差异涉及大量数值计算的工具调用可能出现精度偏差时间线方面iOS 版本计划 2026 年初上线依赖 App Store 分发渠道的组织需要留意这个节点。一句话总结Google AI Edge Gallery 解决的是数据不出设备和断网也能用 AI两个现实问题代价是需要按设备硬件挑选合适的模型规格。【免费下载链接】galleryA gallery that showcases on-device ML/GenAI use cases and allows people to try and use models locally.项目地址: https://gitcode.com/GitHub_Trending/gallery44/gallery创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

相关推荐

【AI前沿】GPT-5.6全球开放+微软换芯MAI+Claude“意识空间“揭秘:2026年7月10日AI日报-CSDN博客
【AI前沿】GPT-5.6全球开放+微软换芯MAI+Claude“意识空间“揭秘:2026年7月10日AI日报-CSDN博客

首屏导读 本教程配套付费专栏: 大模型工程师修炼手记 19.9 元(AI 编程 / Agent 实战 | 本文同主题系统课程) AI时代程序员的自我提升 49.9 元(AI 时代成长方法论)。 单篇不过瘾?订阅解锁全量源码、实战与答疑;文末附资料包领取方式 ↓ · 2026/9/26 3:01:24

Ragent流式输出:SSE分事件推送思考、正文与来源,以及跨节点流式取消
Ragent流式输出:SSE分事件推送思考、正文与来源,以及跨节点流式取消

Ragent流式输出:SSE分事件推送思考、正文与来源,以及跨节点流式取消 【免费下载链接】ragent 企业级 Agentic RAG 智能体 - 全链路覆盖文档解析、多路检索、意图识别、问题重写、会话记忆、MCP 工具调用与深度思考。面向真实业务场景,从 0 到… · 2026/9/26 3:01:17

计算机毕业设计选题推荐:基于大数据的广西医疗机构及药店清单数据分析与可视化|毕业设计选题|计算机毕设|选题推荐|毕设指导|项目定制|源码|高质量项目
计算机毕业设计选题推荐:基于大数据的广西医疗机构及药店清单数据分析与可视化|毕业设计选题|计算机毕设|选题推荐|毕设指导|项目定制|源码|高质量项目

✨作者主页:IT毕设梦工厂✨ 个人简介:曾从事计算机专业培训教学,擅长Java、Python、PHP、.NET、Node.js、GO、微信小程序、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学、文档编写、降重等。 ☑文末获取源码☑ 精彩专栏推荐⬇… · 2026/9/26 3:01:17

MES 系统中的手动排产与自动排产:区别、场景与落地建议
MES 系统中的手动排产与自动排产:区别、场景与落地建议

一、引言在制造执行系统(MES)中,排产是把生产订单、设备产能、物料、人员和工艺路线等信息转化为具体生产计划的过程。MES 通常同时提供手动排产和自动排产两种能力,很多工厂在实施过程中最大的困惑不是“选哪一种”,而… · 2026/9/26 3:39:09

MES系统:企业数字化管理的优选,助力提高生产效率
MES系统:企业数字化管理的优选,助力提高生产效率

一、引言:制造企业为什么需要 MES 系统随着制造业竞争加剧,传统的人工记录、纸质派工、经验排产已经很难满足企业对高效、透明、可控生产管理的需求。企业想要真正实现数字化转型,不仅需要 ERP 管好“钱”和“料”,更需要一套面向… · 2026/9/26 3:39:09

271张遥感光伏数据集:VOC转YOLO格式与YOLOv8训练踩坑指南
271张遥感光伏数据集:VOC转YOLO格式与YOLOv8训练踩坑指南

简介:面向遥感图像目标检测的“光伏发电”识别数据集,采用Pascal VOC与YOLO双格式标注,适用于YOLO系列、Faster R-CNN等检测模型训练与验证。内含271张JPEG原图,及一一对应的271个XML、271个TXT标注文件,XML记录Pascal… · 2026/9/26 3:38:57

PaddleOCRv5 离线识别多语种验证码:TaoToken 统一 Key 接入与 onnxruntime 配置验证
PaddleOCRv5 离线识别多语种验证码:TaoToken 统一 Key 接入与 onnxruntime 配置验证

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/26 3:38:57

智能体的Hello World:用 FastMCP 构建第一个 MCP 服务并接入 TaoToken
智能体的Hello World:用 FastMCP 构建第一个 MCP 服务并接入 TaoToken

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/26 3:38:51

【AI工具】VS Code 部署 Claude Code:用 TaoToken 统一 Key 免登录调用任意 AI 模型
【AI工具】VS Code 部署 Claude Code:用 TaoToken 统一 Key 免登录调用任意 AI 模型

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/26 3:38:51

数据库课后习题答案别硬背:当测试用例集刷,效率翻倍
数据库课后习题答案别硬背:当测试用例集刷,效率翻倍

简介:万常选版《数据库原理与设计》课后习题答案资源,覆盖第2至6章及第9章,适合正在学习关系模型、数据库建模、关系数据理论与模式求精的本科生、自学者作为复习与自测材料。压缩包共7个文件,含3个doc参考答案、2个sql示例脚本、… · 2026/9/26 0:00:21

OpenClaw 替代品?Hermes Agent 踩坑实录:macOS 飞书接入 TaoToken 配置
OpenClaw 替代品?Hermes Agent 踩坑实录:macOS 飞书接入 TaoToken 配置

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/26 0:00:40

向下兼容与向上兼容:接口设计中的兼容性策略与工程实践
向下兼容与向上兼容:接口设计中的兼容性策略与工程实践

一次版本升级事故,是很多团队绕不过去的坎。线上环境里,服务端明明已经上线了新版接口,老的移动端还在照着旧文档传参数。请求一到网关,校验直接拒绝,用户操作失败,客服群炸了锅,开发群里开始互… · 2026/9/26 0:00:46

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码