PocketPal AI 上手指南：下载、加载模型并完全离线地运行手机端 LLM

人工智能AI 应用大模型本地部署移动开发语音【免费下载链接】pocketpal-aiAn app that brings language models directly to your phone.项目地址https://gitcode.com/gh_mirrors/po/pocketpal-ai点击查看免费下载本篇指南以 PocketPal AI 的 Getting Started 文档为主线带你完成「安装 → 下载模型 → 加载模型 → 离线对话」的完整闭环并结合 src/store/ModelStore.ts 等源码验证文档中描述的「Auto Offload/Load 自动内存管理」和高级生成参数在仓库中的真实实现。读完后你不仅能独立跑起一次纯端侧对话还能理解模型上下后台时的内存回收机制与性能指标tokens/sec、ms/token的来源。一、安装应用PocketPal AI 是一款把语言模型直接装进手机的隐私优先应用无需账号、无需云端对话数据不出设备项目定位与隐私说明见 README.md。iOS / iPadOS 用户从 App Store 获取 PocketPal AI。Android 用户从 Google Play 获取应用包名为com.pocketpalai。原作者在 docs/getting_started.md 中特别说明这是一个个人项目作者在工作之余维护可能还存在 bug且无法覆盖所有设备。遇到问题时建议直接提 issue或者直接参与贡献。二、内置模型与任意 GGUF 模型支持文档指出PocketPal AI 出厂预置了几款主流小语言模型SLMDanube 2 和 Danube 3PhiGemma 2Qwen这些模型需要下载后才能使用你也可以直接在应用内下载并使用它们并加载任何你喜欢的其他 GGUF 模型。仓库源码印证了这些内置模型的深度支持——例如 src/utils/chat.ts 中为 Danube3 与 Danube2 分别内置了系统提示词模板You are a helpful assistant named H2O Danube3.../...H2O Danube2...说明它们不只是列表项而是有专门针对的 chat template 配置。此外设备规则文件 src/store/bundledDeviceRules/rules.android.json 与 rules.ios.json 中也包含 Qwen 等模型的匹配规则用于按设备推荐合适的模型档位。注意原始文档自述「部分内容已过时将会更新」。当前仓库的模型体系比文档发布时更丰富例如支持 Hugging Face 在线搜索 GGUF、远程 OpenAI 兼容服务器等下文会结合源码给出以当前仓库为准的说明。三、下载模型操作步骤与文档一致点按汉堡菜单☰进入「Models」页面选择目标模型点按下载。下载逻辑由ModelStore统一管理src/store/ModelStore.ts 中定义了addHFModel等方法负责把 Hugging Face 上的模型与具体modelFile配对、写入本地模型列表实际的文件下载则委托给 src/services/downloads/ 中的下载管理器。从源码结构看应用还支持在 HF 搜索结果中挑选量化档位、下载投影模型mmproj等扩展能力均围绕同一套模型数据模型展开。四、加载模型下载完成后点按Load即可把模型载入内存——之后就可以开始聊天了。README 还补充了一个快捷入口除了模型页你也可以在聊天页输入框左侧的 chevron 图标直接从聊天界面加载模型。加载与卸载由ModelStore的loadModel/releaseContext等上下文操作完成基于 llama.rn 对 llama.cpp 的 GGUF 推理桥接见 README.md 的技术栈说明。五、Auto Offload/Load自动内存管理机制为了让设备保持流畅PocketPal AI 可以自动管理内存占用这一点在仓库中有明确的源码实现值得展开在模型页面启用「Auto Offload/Load」默认开启应用切到后台时自动 offload释放模型切回前台时自动 reload较大模型需要等待几秒。对应实现位于 src/store/ModelStore.tshandleAppStateChange监听 React Native 的AppState变化监听器在构造函数中通过setupAppStateListener注册并区分三种状态迁移状态迁移行为active/inactive → active回到前台调用checkAndReloadAutoReleasedModel()自动重新加载之前被释放的模型active/inactive → background进入后台若isAutoReleaseEnabled为真且存在本地活动模型则markAutoReleased(...)并releaseContext()释放推理上下文active → inactive不做任何自动释放动作源码注释还揭示了两个设计细节体现了文档未提及的边界处理远程模型豁免origin ModelOrigin.REMOTE的模型不执行自动释放——远程模型没有需要释放的原生上下文且releaseContext()会把引擎清掉却没有重载路径前台恢复后的能力重探测回到前台时还会reprobeRemoteCapsIfUnknown()因为 iOS 可能在中断连接时拆掉能力探测请求导致 caps 一直停留在未知状态。这个开关的 UI 落在模型页的模型卡片上参见 src/screens/ModelsScreen/ModelCard/ModelCard.tsx 及 src/locales/en.json 中的 offload 相关文案。六、高级设置Advanced Settings点按模型项上的 chevron 图标可以打开高级 LLM 设置文档列举的典型参数包括Temperature温度BOS token起始符令牌Chat template options聊天模板选项等等这些设置对应仓库中的 src/components/CompletionSettings/通用完成参数组件、src/components/ModelSettingsSheet/按模型的设置面板以及 src/components/ChatGenerationSettingsSheet/会话级生成设置等组件参数最终汇聚为 src/utils/completionTypes.ts 中的CompletionParams再经由 src/api/completionEngines.ts 分发给本地 llama.cpp 引擎或远程 OpenAI 兼容引擎。默认的上下文初始化参数则由 src/utils/contextInitParamsVersions.ts 管理版本化结构。七、开始聊天与性能指标模型加载后进入「Chat」页面即可与模型对话。README 补充推理期间屏幕会自动保持唤醒keep awake空闲时自动停止。生成性能的实时指标也同步展示——关注聊天气泡即可查看Tokens per second每秒生成令牌数Milliseconds per token每令牌耗时毫秒这些指标由 src/components/AssistantTurnFooter/ 的回合页脚呈现是本地推理路径下 llama.rn 返回的采样计时数据。八、复制文本现状与限制文档明确说明了一个现存限制目前尚未找到在**保留文本格式尤其 Markdown**的前提下从生成回复中框选复制文本的简单方案。当前的可行途径有两条段落级复制长按某个段落复制该段内容整段复制使用文字气泡底部的复制图标复制整条 AI 回复。这一能力的 UI 分别对应 src/components/TextMessage/消息正文支持长按交互与气泡底部的复制按钮AssistantTurnFooter。文档还向开发者抛出了一个问题PocketPal AI 基于 React Native 构建在「文本可选」与「保留 Markdown 格式」之间取得平衡一直是个难题有相关经验者欢迎交流。九、反馈与贡献如果你有对新模型或新功能建议文档鼓励通过创建 issue 反馈应用内也有内置通道App Info → Sharing your thoughts见 README.md 的反馈说明。对于想深入源码的读者建议按以下路径继续应用整体架构与四层层级UI / Bridging / Engine / HardwareREADME.md模型与内存管理的核心状态机src/store/ModelStore.ts贡献流程CONTRIBUTING.md。Happy exploring! 赞分享人工智能AI 应用大模型本地部署移动开发语音【免费下载链接】pocketpal-aiAn app that brings language models directly to your phone.项目地址https://gitcode.com/gh_mirrors/po/pocketpal-ai点击查看免费下载相关推荐PocketPal AI手机离线运行语言模型的终极指南与完整教程PocketPal AI手机离线运行语言模型的终极指南与完整教程 PocketPal AI是一个革命性的开源应用它让语言模型直接运行在你的手机上无需联网即人工智能AI 应用大模型本地部署移动开发语音PocketPal AI手机端本地模型部署终极指南打造你的离线智能助手PocketPal AI手机端本地模型部署终极指南打造你的离线智能助手 想要在手机上运行强大的AI语言模型无需网络连接就能享受智能对话体验吗PocketP人工智能AI 应用大模型本地部署移动开发语音【亲测免费】 pocketpal-ai手机上的离线AI助手pocketpal ai手机上的离线AI助手 项目介绍 pocketpal ai 是一款口袋大小的 AI 助手基于小型语言模型SLMs直接在您的手机上运人工智能AI 应用大模型本地部署移动开发语音上一篇Hindsight Observations 知识整合机制详解从记忆到证据化信念的自动沉淀下一篇ScyllaDB nodetool resetlocalschema 命令详解从磁盘重载 schema 与解决版本不一致创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考