三步跑通端侧大模型:Google AI Edge Gallery 快速上手指南【免费下载链接】galleryA gallery that showcases on-device ML/GenAI use cases and allows people to try and use models locally.项目地址: https://gitcode.com/GitHub_Trending/gallery44/galleryGoogle AI Edge Gallery 是一个在 Android 与 iOS 上运行开源大语言模型的端侧 AI 平台:模型加载后,推理全程离线,提示词与图片不离开设备,适合做离线 AI 部署与设备端推理验证。项目定位:它解决什么问题解决的问题:开源 LLM 在移动硬件上的真实表现(延迟、吞吐)此前缺少一个统一、可动手验证的环境。Gallery 把模型下载、多轮对话、图像问答、语音转写、基准测试、函数调用整合进同一个应用。适合谁:需要在真机上评估模型选型的工程师,要做离线 agent 工具原型的开发者,以及做设备端推理优化的团队。不适合谁:需要超过 10k 级长上下文的场景、需要云端级并发吞吐的服务,以及希望模型直接执行任意 shell/Python 命令的场景(移动沙箱不支持,skills 文档中明确说明了这一约束)。快速上手:离线部署端侧模型三步走环境要求运行端:Android 12 及以上,iOS 17 及以上;README 另提供了 macOS 版 dmg 下载。源码构建:需要 Android Studio,以及一个 Hugging Face 开发者应用(clientId 与 redirectUri),这是模型下载功能正常工作的前提。获取与安装终端用户:从 Google Play 或 App Store 安装;无法访问 Play 的用户可从最新 release 拿 APK。开发者:克隆仓库后按文档配置凭据即可:git clone https://gitcode.com/GitHub_Trending/gallery44/gallery本地构建的配置点只有两处,见 DEVELOPMENT.md:在 Android/src/app/src/main/java/com/google/ai/edge/gallery/common/ProjectConfig.kt 填入 HF 凭据,并在app/build.gradle.kts的manifestPlaceholders[appAuthRedirectScheme]中改成对应的回跳 scheme。跑通第一个模型打开应用,从模型列表(Hugging Face 来源)下载一个模型,官方可下载列表由 model_allowlist.json 维护。进入 LLM Chat 或 Agent Chat,发送第一条消息,确认离线推理链路打通。进入 Benchmark 用例,得到第一组 TTFT 与解码速度数据(下文会讲怎么读)。架构拆解:推理链路里的核心组件下表路径均相对Android/src/app/src/main/java/com/google/ai/edge/gallery/:组件职责入口位置Google AI Edge API(LiteRT-LM)LLM 推理接口:消息对话、工具调用、流式 token 回调runtime/LlmModelHelper.ktLiteRT 运行时轻量模型执行环境,应用通过 GPU 加速追求低延迟依赖库,无直接源码Hugging Face 集成模型发现与下载huggingface/HuggingFaceApiClient.ktAgent 运行时会话管理与工具调用执行流程agent/DefaultAgentRuntimeExecutor.kt、agent/sessions/LlmSessionManager.kt自定义任务框架Agent Chat、Mobile Actions、Scrapbook、Tiny Garden 均为任务模块customtasks/技能(Skills)系统用 SKILL.md 加 JS 脚本扩展模型能力tools/LoadSkillTool.kt、tools/RunJsTool.kt,样例在 skills/built-in/MCP 客户端把端侧模型接入外部工具服务器,当前标注为实验特性tools/RunMcpTool.kt、mcp/McpServersProvider.kt性能观测:如何查看 TTFT 与解码速度用例入口:内置 Benchmark 功能,界面在ui/benchmark/BenchmarkScreen.kt,结果展示在ui/benchmark/BenchmarkResultsViewer.kt,结果项包含 Decode tokens、Decode speed、Time to first token(即 TTFT)。单轮对话日志:Android/src/app/src/main/java/com/google/ai/edge/gallery/common/metrics/MetricsLogger.kt 会打印ttftxxx ms;common/metrics/LitertlmInferenceMetricsTracker.kt中可以看到具体口径:TTFT 为从发起到首个生成 token 的耗时,解码速度用 (总耗时 − TTFT) 除以生成 token 数,prefill 速度用提示词 token 数除以 TTFT。读数用于选型:同一台设备上横向对比多个模型,TTFT 反映流式对话的开口快慢,解码速度决定阅读流畅度;若你的场景提示词很长,重点看 prefill。同一模型换设备对比,则反映硬件差距。二次开发入口:从哪个目录改起自定义任务(函数调用):模板在 Android/src/app/src/main/java/com/google/ai/edge/gallery/customtasks/examplecustomtask/。新增函数调用的完整四步见 Function_Calling_Guide.md:在customtasks/mobileactions/Actions.kt注册动作类型,在MobileActionsTools.kt声明Tool函数,在MobileActionsViewModel.kt的performAction实现 Android 侧逻辑,按需修改MobileActionsTask.kt的系统提示词,最后在Android/src/下执行./gradlew installDebug装机。技能:规范与调试技巧见 skills/README.md。分三类:纯文本技能(仅需 SKILL.md)、JS 技能(scripts/index.html暴露window.ai_edge_gallery_get_result,可返回文本、base64 图片或内嵌 webview)、原生 intent(通过run_intent调用发邮件等系统动作)。应用内 Skill 管理器支持从精选列表、URL 或本地文件(adb push后导入)添加。自定义模型:模型管理在 Android/src/app/src/main/java/com/google/ai/edge/gallery/ui/modelmanager/,GlobalModelManager.kt中校验.litertlm文件,HfUrlImportDialog.kt支持直接粘贴.litertlm直链或 Hugging Face 模型卡 URL 导入。MCP 接入:流程与限制见 mcp/README.md。stdio 型本地服务器需先经 supergateway 转成 StreamableHTTP 再暴露公网地址;云端服务器则通过自定义请求头携带凭据。场景与选型建议端侧模型选型:同一台真机上对候选模型跑 Benchmark,结合 Prompt Lab 调整 temperature、top-k 等参数,用真实读数替代纸面参数。离线 agent 工具:skills/built-in/query-wikipedia/、skills/built-in/interactive-map/ 展示了在不把提示词发往云端的前提下给模型加工具;需要实时数据时可再挂一个本地 MCP 服务器。函数调用实验:Mobile Actions 与 Tiny Garden 均由 FunctionGemma 270m 微调版驱动,可自行微调模型并注册函数,文档同样在 Function_Calling_Guide.md。值得用:数据不能出设备、需要端侧真实性能数字、要快速验证 agent 工具链。不值得:上下文需求超过约 10k 词元(MCP 文档注明端侧模型窗口为 4k–10k)、需要服务器级并发、需要模型执行任意系统命令。小结把 Gallery 当作一块设备端推理的试验台:先下载模型跑通对话,再用 Benchmark 拿到 TTFT 与解码速度,然后按需沿 customtasks、skills、MCP 三条线扩展。仓库内的 README.md、DEVELOPMENT.md、skills/README.md、mcp/README.md 覆盖了从零构建到二次开发的完整说明。【免费下载链接】galleryA gallery that showcases on-device ML/GenAI use cases and allows people to try and use models locally.项目地址: https://gitcode.com/GitHub_Trending/gallery44/gallery创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
企业数字化 ERP 产品动态
相关推荐
JNPF快速开发平台任意文件读取漏洞剖析与安全加固指南 做Java服务端开发或者搞安全工作的人，最近应该都注意到JNPF快速开发平台爆出任意文件读取漏洞的消息。作为一套被不少企业用在内部系统搭建上的低代码平台，这个漏洞的影响范围并不小，很多用JNPF做了内部OA、CRM、审批流系统的团队，… · 2026/9/26 8:46:44
Web安全完全指南：按角色拆解威胁模型、XSS、CSRF与部署加固 做 Web 这块时间长了，会越来越相信一个判断：真正把人坑惨的安全事故，绝大多数不是什么高深的零日漏洞，而是几个早被写进教科书的低级问题——一个没做输出编码的评论框、一份被写进前端打包产物的密钥、一个默认打开目录列表的服务… · 2026/9/26 8:46:44
基于OpenCV的交通路口红绿灯控制系统毕业设计源码解析 简介：Python与OpenCV的交通路口红绿灯控制系统源码案例，面向计算机、电子或自动化专业学生，可用于毕业设计或课程设计阶段快速搭建智能交通控制原型。项目通过摄像头或视频流检测车辆存在性，借助颜色空间转换、阈值分割、形态学处… · 2026/9/26 8:46:38
构建 PDF 文档对话 Agent Harness 的关键技术：TaoToken 统一 Key 接入与配置骨架 /* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/26 9:59:29
cmd del命令笔记 使用
/s 删除文件夹下所有的
del /s sub # 删除目录下所有文件，这个目录不会删除
/p 确认提示
/q 静默模式，不会提示要不要删除
如过和/p同时使用，那么不提示
/a 根据属性删除，a是attribute的意思
del /a:r 01.jpg # 01.jpg只读文… · 2026/9/26 9:59:29
基于MobileNet v2的口罩实时检测：从迁移学习到TFLite量化部署 简介：一份基于MobileNet v2的口罩实时检测系统完整实现资源，面向希望快速落地轻量级目标检测项目的开发者，也适合学习深度模型部署与Flask Web应用整合的入门者。系统内置实时视频流检测与图片上传检测两条功能链路：前者调用摄像头… · 2026/9/26 9:59:23
数据库课后习题答案别硬背：当测试用例集刷，效率翻倍 简介：万常选版《数据库原理与设计》课后习题答案资源，覆盖第2至6章及第9章，适合正在学习关系模型、数据库建模、关系数据理论与模式求精的本科生、自学者作为复习与自测材料。压缩包共7个文件，含3个doc参考答案、2个sql示例脚本、… · 2026/9/26 0:00:21
OpenClaw 替代品？Hermes Agent 踩坑实录：macOS 飞书接入 TaoToken 配置 /* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/26 0:00:40
向下兼容与向上兼容：接口设计中的兼容性策略与工程实践 一次版本升级事故，是很多团队绕不过去的坎。线上环境里，服务端明明已经上线了新版接口，老的移动端还在照着旧文档传参数。请求一到网关，校验直接拒绝，用户操作失败，客服群炸了锅，开发群里开始互… · 2026/9/26 0:00:46
 跳转到定义：TaoToken 统一 Key 下的 settings.json 配置骨架)
