OlliteRT——一款在手机上就能跑大模型的开源 App-云帆数科

文章目录一、简介二、模型这块能干什么三、接口兼容到什么程度四、监控和日志做得挺细五、配置项给得挺足六、接口安全这块七、上手很简单八、有些限制得提前说下九、长时间挂机要注意的事十、用下来的整体感受十一、开源地址最近在 GitHub 上看到一个开源 App叫 OlliteRT作者是按安卓上的 Ollama这个思路做的。装在手机上手机就能跑大模型同时在局域网里开一个和 OpenAI 兼容的接口别的设备上的软件填个地址就能调。比如每天汇总一下 RSS给相册照片打打标签偶尔还有智能家居那边过来的指令要处理。像这种活儿都不大一次几秒就完事但总得有个东西一直在那儿跑的场景。专门扔台电脑跑着不划算这个项目就能派上用场。一、简介OlliteRT 底层用的是谷歌的 LiteRT-LM 运行时跑模型用的是手机自己的 GPU 或者 CPU然后在局域网里开一个 HTTP 服务开源Apache-2.0 协议。模型下载好以后断网也能用手机上处理的东西不会传到任何地方去。官方在隐私这块写得也很清楚没有数据收集也没有统计代码。二、模型这块能干什么模型从哪来它给了几条路。最省事的是应用里内置的模型列表看中哪个点一下就下载文件托管在 HuggingFace 的 LiteRT 社区。也可以把手机里已有的 .litertlm 文件直接导入。另外还能自己加模型源填一个 JSON 文件或者一个 URL 就行加了以后应用大概每 24 小时自己刷新一次看看有没有新模型。内置列表里目前这些模型值得说说官方推荐大多数人用 Gemma 4 E2B手机配置高的可以上 E4B。这两个是多模态的能看图、能听音频也支持思考模式回答之前会先给出一段推理过程。Gemma 4 还带一个叫 MTP 的功能大概意思是一次预测好几个词出字速度会快不少需要在模型的设置里手动打开。我自己的手机内存不算大平时挂的是 E2B够用了。三、接口兼容到什么程度这块我觉得是它做得比较突出的地方。OpenAI 的 chat/completions 和 completions 都有Responses 接口和音频转写接口也支持甚至连 Anthropic 的 Messages 接口都兼容了流式和非流式都能用。所以手头现成的工具基本不用改像 Open WebUI填个地址就能连上。Python 里用 OpenAI 官方 SDK把 base_url 指到手机就行curl 直接调也没问题Home Assistant 那边有专门的接入文档。我自己是把 NAS 上那几个定时任务的接口地址改了一下任务就跑起来了别的什么都没动。有一点要注意工具调用目前还是实验性质在 Gemma 4 上效果最好小模型不一定能稳定按格式返回。官方给了两种模式默认是 schema 注入不行的话可以在设置里关掉退回到用提示词解析的老办法。四、监控和日志做得挺细服务器跑起来以后状态页上有实时数据可以看跑了多久、处理了几个请求、输入输出多少 token、出字速度、首字延迟、成功率都摆在那儿。还有一个悬浮窗可以拖来拖去手机扔在一边当服务器用的时候瞟一眼就知道它还在不在跑。日志页也做得细。每次请求和响应都会记下来想找某一条可以按请求方法或者状态码过滤也可以搜关键词JSON 带语法高亮。每条日志底下有一排小标记能看出来这次请求花了多少毫秒、是不是流式、有没有开思考、估算的输入 token 占了上下文多少。上下文快占满的时候那个数字会变黄变红挺直观。除了应用里能看到的这些它还有一个 /metrics 端点能吐出 29 个 Prometheus 格式的指标家里跑着 Grafana 的话可以直接接进去画图。Home Assistant 除了接模型还能通过它内置的 REST 接口远程看状态、切模型、改设置。另外它内置了 Benchmark 功能同一台手机上把几个模型挨个测一遍谁处理长输入快、谁出字快、谁加载快一比就知道。新手机上手的话我建议先跑一遍这个比看参数表直观。五、配置项给得挺足每个模型可以单独存一套推理参数温度、top-k、top-p、最大输出长度都按模型保存重启不丢。加速器可以在 GPU 和 CPU 之间切默认 GPU出问题再换 CPU 试试。有几个开关我自己是真用上了。一个是闲置自动卸载。设一个时间比如 5 分钟没收到请求模型就从内存里卸掉内存还给系统。下一个请求进来的时候会自动重新加载代价是这一次会慢几秒。手机平时还要干别的的话这个开关就很有用。开机自启我也开了。选一个默认模型打开 Start on Boot手机重启以后服务自己就起来了。记得把它的电池优化关掉不然安卓后台可能把它杀掉。这样弄完这台手机基本就是个不用管的设备。还有个常驻通知。它靠一个前台通知保住后台服务通知上直接有停止服务和复制地址两个按钮这个细节挺贴心。六、接口安全这块接口可以开 bearer token 验证开了以后没带 token 的请求直接 401。还能设客户端 IP 的访问规则只放行家里那几个设备监听范围也能调。官方文档里有句话我觉得得单独拿出来说不要通过端口映射把它暴露到公网它没有 HTTPStoken 验证也只是基础手段。它合适的使用场景就是局域网别往公网放。七、上手很简单整个过程没什么门槛。从 GitHub 的 Releases 页下载 APK 装上打开以后在模型列表里挑一个下载下好了点模型卡片上的 Start Server状态页上就能看到地址一般是 http://手机IP:8000/v1 这个样子把这个地址填进客户端完事。硬件要求安卓 12 以上arm64 架构内存最低 6 GB想跑多模态模型最好 8 GB 往上。2017 年以后的安卓机基本都是 arm64这一点问题不大。八、有些限制得提前说下一次只能加载一个模型请求也是一个接一个排队处理想拿它当多人共用的服务不现实。只支持 .litertlm 格式不认 GGUF。网上那些给 llama.cpp 和 Ollama 准备的模型文件在这儿用不了别下错了。接口返回的 token 计数是估算的按字符数除以四算出来的英文还行代码和多语言内容会偏。想拿这个数去算费用是不行的看个大概还凑合。从本地导入模型的时候文件会被复制一份到应用自己的目录相当于占了双倍空间导入完记得把原文件删了。因为跑在移动端运行时上logprobs、LoRA 这类进阶玩法都没有。九、长时间挂机要注意的事如果打算让它 7×24 小时跑着官方的建议是插着电用把手机壳摘了帮助散热放在阴凉硬实的平面上隔段时间看看有没有发烫、电池有没有鼓包。功耗方面模型生成的时候大概 5 到 10 瓦闲着的时候接近零。跟显卡服务器动辄三百瓦往上比省电是真省电。十、用下来的整体感受指望它替代一台正经的推理机器是不行的一次只能跑一个模型、请求排队处理这个限制绕不开。但放在某些场景下刚好活儿碎量小不想专门开电脑也不想数据往外走。监控、日志、权限、自启这些东西它都有当一个常驻服务用没什么问题。用到现在NAS 上那几个任务没再让我操过心家里有闲置安卓机的话可以装一个试试。十一、开源地址https://github.com/NightMean/OlliteRT

企业数字化 ERP 产品动态

相关推荐

WordCraft 快速上手：10 分钟从零到导出你的第一份 PDF

WordCraft 快速上手：10 分钟从零到导出你的第一份 PDF 【免费下载链接】wordcraft An open-source, clean-room reimplementation of Microsoft Word in pure Rust 项目地址: https://gitcode.com/gh_mirrors/word/wordcraft WordCraft 是一款纯 Rust 编写的… · 2026/11/4 16:10:58

Kitematic 快速上手指南：在 Windows 与 Mac 上运行图形化容器管理工具

Kitematic 快速上手指南：在 Windows 与 Mac 上运行图形化容器管理工具【免费下载链接】docker.kitematic Visual Docker Container Management on Mac & Windows 项目地址: https://gitcode.com/gh_mirrors/ki/docker.kitematic Kitematic 是 Docker 团… · 2026/11/4 16:10:58

从零构建Coding Agent：Deuz SDK写代码、跑测试、自愈循环完整教程

【免费下载链接】Deuz-SDK TypeScript AI SDK and agent framework with zero dependencies. Build production AI agents and multi-agent swarms: durable execution, long-term memory, hybrid RAG, MCP client/server, A2A, human-in-the-loop approvals, CodeAct sandboxe… · 2026/11/4 16:10:58

OpenClaw手势框架：解决小屏设备单手操作难题

1. 项目背景与核心价值最近在移动设备交互领域看到一个挺有意思的开源项目OpenClaw，它为解决小屏设备单手操作难题提供了新思路。作为一个长期关注人机交互的开发者，我发现这个方案特别适合像豆包手机这类迷你尺寸的智能设备。传统5英寸以下的手机面临的… · 2026/11/4 16:56:47

MacBook Pro配置Node.js与AI开发环境全攻略

1. 项目背景与核心需求作为一台2019款MacBook Pro Intel芯片版的老用户，最近在配置Node.js开发环境时遇到了不少坑。特别是当需要同时运行Claude Code和OpenCode这两个新兴AI编程工具时，官方文档的说明总是存在各种兼容性问题。经过两周的反复测试&… · 2026/11/4 16:56:47

Excel竞赛实战：数据清洗、动态数组与Power Query备考指南

1. 赛题拆解：Excel竞赛到底在考什么每年到了赛季，后台和群里问得最多的一句话就是：这玩意儿到底考什么，是不是把函数背熟了就能上。我先把结论摆在这儿——Excel竞赛考的不是函数记忆量，是在有限时间里把一堆不听话的数… · 2026/11/4 16:56:47

AI动画插件如何重构动画制作流程：中间帧、智能补间与工作流评估

凌晨两点半，屏幕上的曲线编辑器还开着，一条手腕的旋转曲线在第十五帧到第十八帧之间来回抖，你盯着它看了四十分钟，心里清楚这不是技术难题，只是中间帧还没铺完。动画制作流程里最消耗人的环节，从来不是灵感… · 2026/11/4 16:56:47

Spark电影推荐系统：混合分层、ALS协同过滤与实时链路避坑

简介：面向大数据与推荐系统方向的学习者，这份基于 Spark 的电影推荐系统设计与实现文档提供论文与配套源码的整合内容，可用于课程设计、毕业设计选题参考或推荐算法实践。内容围绕 Spark、MongoDB 与 Web 技术展开，梳理基于人口统… · 2026/11/4 16:56:47

零售业智能体架构：自动化转型的核心解决方案

1. 零售行业自动化转型的现状与挑战零售行业正经历着前所未有的数字化变革浪潮。根据我过去五年为多家零售企业提供技术咨询的经验，超过70%的零售企业高管将"运营效率提升"列为首要战略目标。但现实情况是，大多数零售企业在自动化转型过程中面… · 2026/11/4 16:55:46

双极步进电机控制实战：DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 3:16:49