本地AI女友项目搭建教程：Live2D、语音聊天、AI绘图全离线运行，TaoToken统一Key接入配置

1. 本地 AI 女友项目到底在解决什么问题如果你搜到这篇大概率是冲着「本地 AI 女友」这四个字来的想让桌面上有个能聊天、能出声、能画图、还不用把聊天记录传到别人服务器上的角色。这个项目把几块能力拼在一起——llama.cpp 跑本地大模型负责对话GPT-SoVITS 负责把文字变成带情绪的语音Live2D 负责表情和口型ComfyUI 负责出图Qdrant 加 BGE 小模型负责长期记忆。听起来很全但真正动手时卡人的往往不是模型本身而是多模块之间的配置对齐谁先启动、端口怎么串、显存怎么让、Key 怎么统一。我实测下来最容易翻车的三个点是一是 llama.cpp 和 ComfyUI 抢显存8GB 卡上如果两个都常驻出图直接爆二是语音链路里 GPT-SoVITS 的参考音频路径写错合成出来是杂音三是记忆模块的向量维度对不上导致角色「记不住」或者串记忆。这篇就按可复制的顺序把 config.toml 和 settings.json 的骨架给你再补上 TaoToken 统一 Key 的接入验证让你先把多模块协同跑通再慢慢换模型。适合谁看手里有 8GB 以上显存的笔记本或台式、愿意折腾本地开源工具、想给桌宠接上真实对话和绘图能力的人。如果你只想开箱即用、完全不想碰命令行这个项目可能不太适合你因为它本质是一套需要自己拼装的本地服务编排。2. TaoToken 统一 Key 的前置准备本地项目里对话模型、记忆摘要、绘图提示词润色这些环节其实都可以走同一个 OpenAI 兼容通道。TaoToken 在这里的角色就是提供统一的 Key 和 API 入口省得你每个模块单独配一套鉴权。官网是 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content API 基址是 https://taotoken.net/api 注意这个地址后面不加 UTM 参数配置里直接写它。你需要先拿到 Key进控制台 https://taotoken.net/console?utm_sourcetaotoken_aicg_blog_endutm_contentconsoleutm_campaignrewrite 在 API Keys 页面创建一个复制出来。这个 Key 会同时用在对话和记忆摘要两个地方所以别只填一处。如果你后面要长期跑编码类 Agent 或者让桌宠自己调工具可以看下 Coding Plan https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentcoding-planutm_campaignrewrite 它更适合高频调用场景。注意本地离线运行指的是模型权重和推理在你机器上但如果你想让对话质量更稳、或者本地模型偶尔顶不住长上下文把部分请求走 TaoToken 的兼容通道是常见做法。两者不冲突配置里留好开关即可。接入文档在 https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite 里面写了兼容 OpenAI 的请求格式。你只要记住base_url 填 https://taotoken.net/api model 名按文档里给的写别自己编。3. 可复制的 config.toml 与 settings.json 配置骨架下面这份配置是我按「先跑通、再调优」的思路整理的路径和端口你按自己机器改。先建目录结构mkdir -p ~/ai-girlfriend/{models,config,logs,voices,comfyui} cd ~/ai-girlfriend3.1 config.toml对话与记忆模块# ~/ai-girlfriend/config/config.toml [llm] backend llama.cpp model_path ./models/Qwen3.6-35B-A3B-Q4_K_M.gguf n_ctx 8192 n_gpu_layers 28 # 8GB 卡先给 28 层爆显存就往下调 temperature 0.7 top_p 0.9 [llm.remote_fallback] enabled true base_url https://taotoken.net/api api_key sk-你的TaoTokenKey model 按文档填对应模型名 timeout 60 [memory] vector_db qdrant qdrant_url http://127.0.0.1:6333 collection natsume_memory embedding_model ./models/bge-small-zh-v1.5 embedding_dim 512 short_term_limit 20 long_term_top_k 5 [tts] engine gpt-sovits api_url http://127.0.0.1:9880 ref_audio ./voices/natsume_ref.wav ref_text 参考音频对应的文本 ref_lang zh [draw] engine comfyui api_url http://127.0.0.1:8188 workflow ./config/sdxl_workflow.json release_llm_before_draw true # 8GB 卡必开这里release_llm_before_draw是关键。8GB 显存下llama.cpp 常驻会占掉一大块ComfyUI 出图时如果不清显存SDXL 直接 OOM。项目里的显存调度就是靠这个开关触发的出图前把 LLM 卸载出完再加载回来代价是出图后第一次对话会慢几秒。3.2 settings.jsonLive2D 与前端联动{ live2d: { model_dir: ./models/live2d/natsume, model_json: natsume.model3.json, scale: 1.0, position: { x: 0.75, y: 0.5 }, mouth_sync: true, expression_map: { happy: exp_01, sad: exp_02, angry: exp_03 } }, chat: { bubble_timeout: 8000, stream: true, max_history: 30 }, voice: { enabled: true, emotion_mode: daily, volume: 0.9 }, draw: { enabled: true, auto_prompt: true, negative_prompt: lowres, bad anatomy, extra fingers }, taotoken: { base_url: https://taotoken.net/api, api_key: sk-你的TaoTokenKey } }mouth_sync打开后Live2D 的口型会跟着 TTS 输出的音量包络动。如果你发现嘴型对不上多半是 TTS 返回的音频采样率和前端解析不一致后面排障会讲。4. 启动顺序与验证请求多模块协同最怕乱序启动。按这个顺序来Qdrant → llama.cpp → GPT-SoVITS → ComfyUI → 桌宠前端。# 1. 向量库 docker run -d -p 6333:6333 -v ~/ai-girlfriend/qdrant:/qdrant/storage qdrant/qdrant # 2. llama.cpp 服务 ./llama-server -m ./models/Qwen3.6-35B-A3B-Q4_K_M.gguf \ --host 127.0.0.1 --port 8080 -c 8192 -ngl 28 # 3. GPT-SoVITS API python api.py -p 9880 -a 127.0.0.1 # 4. ComfyUI python main.py --listen 127.0.0.1 --port 8188启动后先验证 TaoToken 通道是否通curl https://taotoken.net/api/v1/chat/completions \ -H Authorization: Bearer sk-你的TaoTokenKey \ -H Content-Type: application/json \ -d { model: 按文档填对应模型名, messages: [{role: user, content: 用一句话确认通道正常}] }返回里有choices[0].message.content就说明 Key 和地址都对。接着验证本地对话curl http://127.0.0.1:8080/v1/chat/completions \ -H Content-Type: application/json \ -d {messages:[{role:user,content:你好}],stream:false}再验证 TTScurl http://127.0.0.1:9880/tts \ -H Content-Type: application/json \ -d {text:今天天气不错,ref_audio_path:./voices/natsume_ref.wav,text_lang:zh}如果返回音频流且能播放语音链路就通了。最后在桌宠前端发一句「帮我画一张海边白裙少女」观察日志里是否出现「释放 LLM 显存 → 调用 ComfyUI → 恢复 LLM」的调度记录。成功的话图片会落到comfyui/output/下同时角色会说出「画好了」之类的语音。5. 本篇常见错排查报错一CUDA out of memory出现在出图阶段。九成是release_llm_before_draw没开或者开了但 llama.cpp 没真正卸载。检查 config.toml 里这个开关再看日志有没有unload model字样。如果还爆把n_gpu_layers从 28 降到 20或者把 SDXL 的 batch size 设成 1。报错二TTS 合成出来是电流声或杂音。先确认ref_audio是 3–10 秒的干净人声采样率 32kHz 或 44.1kHz别用带背景音乐的片段。ref_text必须和音频内容逐字对应差一个字都可能让音色崩掉。如果还不行把ref_lang从zh改成auto试试。报错三角色记不住之前聊的内容。查 Qdrant 里 collection 的向量维度是否和embedding_dim一致。BGE-small-zh 是 512 维如果你之前用过别的模型建过 collection维度对不上会静默失败。删掉 collection 重建curl -X DELETE http://127.0.0.1:6333/collections/natsume_memory然后重启记忆模块让它按新维度重建。报错四Live2D 嘴型不动。检查mouth_sync是否为 true再看 TTS 返回的音频格式。有些前端只认 PCM如果 GPT-SoVITS 返回的是 MP3需要在前端加一层解码。另外model3.json里要有ParamMouthOpenY这个参数缺了就没法驱动口型。报错五TaoToken 请求返回 401。先确认 Key 没多复制空格再确认 base_url 是https://taotoken.net/api而不是带 UTM 的官网地址。如果用的是环境变量检查echo $TAOTOKEN_API_KEY有没有值。还不行就去 API Keys 页面重新生成一个旧的可能被删了。6. 接入文档与模型对话入口配置跑通之后你可能会想换模型、调记忆策略或者把对话质量再拉一档。这时候建议先翻接入文档 https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite 里面把兼容格式、参数含义、常见返回码都列了比在代码里猜要快。如果你只是想先试试模型对话效果不想动本地配置可以直接进模型对话 https://taotoken.net/model-chat?utm_sourcetaotoken_aicg_blog_endutm_contentmodel-chatutm_campaignrewrite 发几条消息感受一下不同模型的回复风格再决定本地加载哪个 GGUF。长期编码或者让桌宠自己调工具的场景Coding Plan https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentcoding-planutm_campaignrewrite 的额度模型更合适不用每次手动换 Key。API Keys 管理在 https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentapi-keysutm_campaignrewrite 建议给本地项目和测试环境各建一个 Key方便排查问题时快速定位是哪边出的错。最后说个我踩过的坑别在 config.toml 里把本地 llama.cpp 和 TaoToken 的 model 名写成同一个。本地 GGUF 的模型名是你自己起的TaoToken 那边要按文档里的写混了会报model not found。改完配置记得重启对应服务llama.cpp 和桌宠前端都要重启只重启一个不生效。