Google AI Edge Gallery：端侧本地AI的6种玩法一次看懂

Google AI Edge Gallery端侧本地AI的6种玩法一次看懂【免费下载链接】galleryA gallery that showcases on-device ML/GenAI use cases and allows people to try and use models locally.项目地址: https://gitcode.com/GitHub_Trending/gallery44/galleryGoogle AI Edge Gallery 是一个跑本地AI能力的端侧应用所有模型推理都在你自己的手机本地完成不经过云端。它解决一个很实际的问题想体验大模型的效果与性能但数据不能出设备、网络又不一定有。应用把对话、图像识别、语音转录等常见场景打包在一起模型下载和基准测试也都开箱即用。离线大模型部署三步跑起来先说结论装好应用从列表挑一个模型下载就能开聊全程不需要任何开发环境。看环境Android 12 及以上或 iOS 17 及以上macOS 版也可用。获取方式从应用商店安装或从最新 release 页面拿 APK适用于装不了 Play 商店的用户想自己编译源码可参考开发笔记这一步可以跳过。下载模型首页模型列表里挑一个下载装好后在任意功能里选中它即可离线使用。能力拆解设备端AI在手机上能干哪些事首页按类别划分每个类别对应一组端侧AI能力。多轮对话与思考模式AI Chat 模块支持多轮对话打开 Thinking Mode 能看到模型逐步推理的过程。该功能目前仅在受支持的模型上可用以 Gemma 4 家族起步。图像识别与描述Ask Image 用摄像头或相册作输入可识别物体、描述图片内容、解视觉谜题全程由设备端多模态模型完成。语音转写与翻译Audio Scribe 把语音实时转成文字并支持翻译适合会议记录、语言素材整理这类场景。设备控制与离线小工具Mobile Actions 用 FunctionGemma 270m 微调模型驱动设备功能实现离线设备控制Tiny Garden 则是个用自然语言打理虚拟花园的实验小游戏。提示词实验室与技能扩展Prompt Lab 可调节温度、top-k 等参数用来做单轮提示词实验。Agent Skills 能给模型加外脑内置技能包括维基百科查询、二维码生成、情绪记录等也可以按 URL 加载第三方技能或通过 MCP 接入外部工具服务器。模型接入如何加载与管理 .litertlm 文件应用加载的模型文件是 LiteRT 的 .litertlm 格式模型管理入口提供了下载、导入、删除、跑测试这一整套操作。模型从哪来官方模型列表应用内置的开源模型精选Hugging Face应用集成了 HF 模型库可搜索并下载自带文件导入设备上的 .litertlm 文件适合有自转换模型的开发者。仓库里还维护了分版本的模型白名单见model_allowlists控制不同版本能使用哪些模型。TTFT 与解码速度怎么看端侧AI性能的两把尺子内置基准测试功能可以测出每个模型在你这台设备上的真实表现指标定义在benchmark.proto。先说结论TTFT 决定第一句快不快解码速度决定读起来快不快。TTFT 指什么Time To First Token即从发出提问到模型吐出第一个词元的时间。数值越大等待首句越久输入提示词越长它通常也越高。解码速度与预填充速度解码速度以 tokens/秒 计决定生成内容的流速预填充速度则对应处理提示词的速度。指标里还记录了首次加载初始化耗时能看出重启后第一次用是不是明显变慢。优化建议TTFT 偏高就精简上下文与系统提示词解码速度偏低就换更小的模型试试。扩展开发给应用挂一个自定义任务模块对开发者来说这个应用是个任务 模型的沙盒新增一个功能模块本质上是实现一个 CustomTask完整示例都在customtasks 目录。自定义任务五步走实现 CustomTask 接口定义任务名称、描述、类别和支持的模型实现 initializeModelFn 与 cleanUpModelFn负责模型加载与释放编写 MainScreen 组合式界面顶栏模型选择、设置由框架接管只管正文内容用 Hilt 模块注册首页即可自动发现参考 ExampleCustomTask 示例它演示了本地文件与远程文件两种模型加载方式。适合谁用本地AI平台的典型场景先说结论想在特定设备上验证大模型的真实表现或者要用 AI 但数据不能出内网它就是一个好沙盒。普通用户在日用手机上体验开源模型不搭服务器开发者横向对比各模型的预填充、解码性能或把它当宿主应用做自定义任务与技能开发现场作业医院、办公、工厂等数据敏感场景模型完全离线运行数据不出设备。项目进展与获取渠道项目目前仍是实验性 Beta 阶段最新版本新增了对 Gemma 4 模型家族的支持整体以 Apache 2.0 开源。获取渠道为 Google Play、App Store 或 macOS 安装包bug 和功能建议走项目 issue 区。需要克隆源码时仓库地址是 https://gitcode.com/GitHub_Trending/gallery44/gallery 。【免费下载链接】galleryA gallery that showcases on-device ML/GenAI use cases and allows people to try and use models locally.项目地址: https://gitcode.com/GitHub_Trending/gallery44/gallery创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考