基于ESP32-S3的桌面AI语音助手MimiClaw从零搭建全记录

大概半年前我彻底对手机里的语音助手失去耐心喊一声要等图标弹出来问个天气先解锁再等它联网经常换来一句“这个我还不会”。那阵子手头正好多了一块 ESP32-S3 开发板就琢磨着能不能自己在桌面上搞一个真正听话、反应快、还有一点小动作的“个人AI助手”。折腾了一个多月就有了你们看到的 MimiClaw——名字里的 Claw 是那只会开合的小爪子Mimi 是我给它起的名字。这块板子不大但配合麦克风、喇叭、屏幕和舵机就能变成一个端侧采集、云端推理、端侧反馈的完整交互终端。这篇文章不是产品说明书是我从零到一把它做出来的全过程记录适合正在玩 ESP32-S3、想把大模型接进嵌入式设备、又不想一上来就啃复杂框架的朋友参考。1. 用 ESP32-S3 做个人 AI 助手的核心思路1.1 为什么不是树莓派也不是纯 Arduino你要是只是想让电脑帮忙查资料那直接用浏览器就行犯不着做硬件。但我的诉求比较具体桌面上放一个小东西喊一声就能得到回答有灯光和机械动作反馈不能像一个网页弹窗那样冷冰冰。树莓派当然能跑更多东西但是功耗高、启动慢、机身大放在桌上占地方还得单独配电源。Arduino 那种 8 位单片机又太弱跑不了 HTTPS 请求更别说处理麦克风采集和音频解码。ESP32-S3 刚好卡在中间双核 240MHz自带 Wi-Fi 和 BLE有 I2S 接口可以接麦克风、功放有足够的 GPIO 驱动舵机、LED、屏幕价格也便宜。它跑不了本地大模型但没必要跑——真正的大模型推理放到云端或者局域网里的电脑上ESP32-S3 只负责“听、传、播、动”这个分工才是关键。如果你原来玩过 K210 或者 Maix Bit会发现思路有点类似端侧做事件触发复杂的计算交给外部。只不过 S3 的网络能力比 K210 强得多接入大模型 API 这件事天然就更顺。1.2 MimiClaw 的功能边界我给自己列了一个功能清单没有贪多语音唤醒说“小咪”就能把设备从待机状态叫醒进入录音状态录音上传自动录下你后面说的话通过 Wi-Fi 传到语音识别服务转成文字大模型问答把文字提交给 Chat Completions 兼容的接口获得回答语音播报把回答内容返回给端侧在喇叭上播放出来屏幕显示OLED 上滚动显示当前状态和回答缩略内容动作反馈等待回答时爪子轻微张合播报时灯环呼吸不让用户觉得“死机了”局域网消息PC 可以往 ESP32-S3 的 TCP 端口发消息上一条指令打断当前播报。说白了它不是一个“全能型机器人”而是一个“AI 交互终端”。硬件史全部精力放在交互反馈上反而体验更完整。2. 硬件选型与引脚规划一块开发板如何变成会说话的爪子2.1 主控选型带 PSRAM 的 S3 才是正解市面上 ESP32-S3 的开发板很多名字也五花八门很多带摄像头、带屏幕、带音频芯片的“AI 开发板”本质都是 S3 加各种外设。我的建议是先分清自己手里的板子到底有什么再决定外围电路怎么接。最关键的一点S3 本体只有 512KB 左右的 SRAM如果不带外部 PSRAM跑 TCPTLSJSON 解析会非常吃力。选型时尽量选择带8MB 或 16MB Octal PSRAM的型号比如 ESP32-S3-WROOM-1 N16R8。N16 表示 16MB FlashR8 表示 8MB PSRAM。要是你只有 N8R2 或 N8R8 的板子也够用但 PSRAM 越大音频缓冲和 JSON 缓存就越从容。带板载麦克风、音频编解码芯片、摄像头接口的 AI 开发板常见的有 ESP32-S3 AI 开发板、Korvo 系列可以少买不少模块但引脚会被厂家固定扩展舵机时得仔细查原理图。我这次用的是手上闲置的通用 S3-DevKitC 类板子外设全部自己接自由度更高。2.2 外设清单与接口说明我最终用到的东西大概如下表器件型号/规格接口作用主控ESP32-S3-WROOM-1 N16R8USB / 引脚核心控制麦克风INMP441 MEMS I2S 麦克风I2S 输入采集语音功放喇叭MAX98357A I2S 功放 3W 小喇叭I2S 输出播报回答屏幕0.96 寸 SSD1306 OLEDI2C 或 SPI显示状态/回答文本舵机SG90爪子 MG90S肩膀PWM GPIO动作反馈灯环WS2812B 8 颗单线 GPIO状态灯光供电5V/2A USB 供电为主USB/外接电源供电INMP441 是 MEMS 麦克风吃 I2S 接口输出 24bit 音频。MAX98357A 也是 I2S 接口的 D 类功放直接推一个小喇叭不需要额外运放。我让麦克风和功放共用 BCLK、WS 两根线各自用独立的 DATA 引脚这样能省下不少 GPIO。2.3 引脚规划表折腾下来引脚规划比你想的重要得多——很多坑都是因为引脚冲突。下面直接给出我验证过的分配功能GPIO 引脚备注I2S 麦克风 BCLKGPIO4与功放共用I2S 麦克风 WSGPIO5与功放共用I2S 麦克风 DINGPIO6麦克风数据输入I2S 功放 BCLKGPIO16共用 BCLK 时可不接? 实际共用时只需一路输出I2S 功放 WSGPIO15共用 WSI2S 功放 DOUTGPIO7功放数据输入OLED SDAGPIO8I2C 数据OLED SCLGPIO9I2C 时钟WS2812BGPIO14灯环数据爪子舵机GPIO17PWM 输出肩膀舵机GPIO18PWM 输出板载/外接按键GPIO0手动触发录音调试用注意 GPIO0 在外接按键时要接上拉电阻否则容易误触进入下载模式。另外S3 的 UART0 默认接了 USB 串口如果你的板子没有板载 USB 转串口芯片还得用 CH340/CP2102 模块连 TX/RX。3. 搭建过程装配顺序、电源和第一点亮屏3.1 结构件与装配顺序我没有花太多钱做 CNC 铝件直接画了一个简单的 3D 打印外壳PETG 材质三层结构底层放电池和升压板中层放 ESP32-S3 开发板上层是屏幕、灯环和舵机爪子。如果你没有 3D 打印机用亚克力板激光切割或者洞洞板搭支架也完全没问题关键是把“运动部分”和“电路部分”分开避免舵机振动扯到排线。装配顺序建议先把舵机固定在底座上确认爪子开合时不会被外壳卡住再把屏幕、灯环排线插到开发板但先别固定方便改引脚然后接麦克风和功放上电听一下有没有底噪最后把电源线、地线统一走线用扎带固定。我踩过一个教训一开始先把屏幕固定死后来发现麦克风 I2S 引脚和屏幕的引脚冲突只能拆了重焊费了半天劲。3.2 电源分配这是最容易翻车的地方。ESP32-S3 的 3.3V 引脚只能提供很小电流根本带不动舵机。一开始我把爪子和肩膀舵机都直接接在开发板的 5V 引脚上结果每次舵机一转屏幕就闪一下严重时整个板子直接重启因为舵机启动瞬间电流冲上去把 5V 电压拉垮了。后来的方案改成USB 输入 5V 先经过一个 1000uF/6.3V 电容做滤波然后分成两路。一路给开发板供电另一路给舵机供电。舵机的电源地要和开发板共地否则 PWM 信号参考电位不一致舵机根本不受控。如果你打算用锂电池就用 TP4056 充电板MT3608 升压到 5V注意选峰值电流 2A 以上的升压模块否则舵机一动作就会欠压保护。3.3 第一点亮屏与基础系统验证先不要急着接 AI 功能。我用 Arduino-ESP32 内核把底层功能一个个验证点亮 OLED用Adafruit_SSD1306库I2C 地址通常0x3C点亮 WS2812B用Adafruit_NeoPixel库注意 S3 的 RMT 驱动和普通 GPIO 时序在部分库版本上不兼容建议用NeoPixelBus库测试舵机角度servo.write(angle)之类确认爪子能从 0° 转到 180°测试 I2S 录音用driver/i2s_std.h读取 INMP441 数据串口打印几个字节看波形。这些基础模块全部通了再往上层加 AI 链路。千万不要一上来就把所有东西同时接好出了问题根本不知道是硬件还是软件造成的。4. Wi-Fi、麦克风和大模型打通本地到云端的数据链路4.1 Wi-Fi Station 模式与 TCP 消息接收MimiClaw 的核心链路是本地采集语音 → 上传识别 → 大模型回答 → 播放反馈。这个链路里的第一环就是网络。我设置成 Station 模式也就是让开发板连接你家里的无线路由器而不是自己开热点。Arduino 框架下连接 Wi-Fi 很简单#include WiFi.h const char* ssid 你的Wi-Fi名; const char* password 你的Wi-Fi密码; void setup() { WiFi.mode(WIFI_STA); WiFi.begin(ssid, password); while (WiFi.status() ! WL_CONNECTED) { delay(500); Serial.print(.); } Serial.println(\nWiFi connected, IP: WiFi.localIP().toString()); }我还开了一个 TCP Server 端口 8888这样电脑或手机可以直连开发板发控制指令。例如 PC 端向192.168.x.x:8888发一条{type:ask,text:现在几点}ESP32-S3 收到后就会把里面的文案拿去走大模型链路。TCP 局域网控制有个很实用的场景我正在用电脑写代码懒得开口说话直接在终端里往开发板发一段文字它就能播出来。无论是做信息播报还是远程提醒都比专门去折腾一个 App 方便得多。4.2 麦克风采集与录音策略真正的 AI 交互从“听到声音”开始。INMP441 是 I2S 麦克风典型配置是 16kHz 采样率、单声道、32bit 帧宽。用 ESP32 的 I2S 驱动采集核心配置如下#include driver/i2s_std.h i2s_chan_config_t chan_cfg I2S_CHANNEL_DEFAULT_CONFIG(I2S_NUM_0, I2S_ROLE_MASTER); i2s_std_config_t std_cfg { .clk_cfg I2S_STD_CLK_DEFAULT_CONFIG(16000), .slot_cfg I2S_STD_PHILIPS_SLOT_DEFAULT_CONFIG(I2S_DATA_BIT_WIDTH_32BIT, I2S_SLOT_MODE_MONO), .gpio_cfg { .mclk I2S_GPIO_UNUSED, .bclk GPIO_NUM_4, .ws GPIO_NUM_5, .dout I2S_GPIO_UNUSED, .din GPIO_NUM_6, .invert_flags 0, }, };麦克风采集出来的原始数据是 PCM需要按 32bit 帧宽读、取前 16bit 或 24bit 有效数据再转成 WAV 或者直接裸 PCM 上传。录音策略上我不做连续流式上传而是按下按键或唤醒后录 3 秒然后把这段音频一次性交给语音识别服务。这样实现简单占用的网络和 API 开销也可控。这里有个值得说的点唤醒词。ESP32-S3 可以用乐鑫的 ESP-SR 做本地唤醒词识别比如“小咪”这样一个词。训练一个自定义唤醒词需要准备录音数据跑训练流程初期调试特别费时间。我的做法是先用 GPIO0 按键手动触发录音把整条语音链路跑通后再接 ESP-SR。如果你想正式用在 ESP-SR 的wake_word配置里选一个模型后它会在后台不断监听麦克风识别到唤醒词后才进入录音这样日常功耗会稍微高一点但交互自然很多。4.3 接入大模型 API大模型接口选择 Chat Completions 兼容协议直接用 HTTP POST 请求速度快、生态广。ESP32-S3 用HTTPClient库发 HTTPS 请求时需要把服务端证书编译进去或者在调试阶段用WiFiClientSecure关掉校验。我个人强烈建议正式使用时开启证书校验否则任何同一局域网的人都能伪造服务器回包文本内容被篡改太危险。请求骨架类似HTTPClient http; http.begin(client, serverUrl); http.addHeader(Content-Type, application/json); http.addHeader(Authorization, Bearer YOUR_API_KEY); String payload {\model\:\gpt-4o-mini\,\messages\:[{\role\:\user\,\content\:\ userText \}]}; int code http.POST(payload); String response http.getString();ArduinoJson 解析响应从中取出choices[0].message.content字段就是大模型生成的回答了。有个很容易踩的坑HTTP 请求是阻塞式的如果网络延迟高整个系统会卡在等待响应上屏幕不动、舵机不动用户以为死机了。我的解法是把请求封装成一个带超时的函数超时定为 8 秒在等待期间让另一个 FreeRTOS 任务持续更新灯环和舵机状态。如果你用 Arduino 框架最简单的办法是把整个请求放到xTaskCreatePinnedToCore里跑不让它阻塞主循环。4.4 TTS 播放与动作反馈得到回答文本后可以调用 TTS 服务把它转成音频文件。ESP32-S3 有 8MB PSRAM放几秒钟的 MP3 数据没问题。音频解码我用了现成的音频播放库把 MP3 流直接喂给 MAX98357A 播放。播放期间我会根据关键词让爪子做点动作。比如回答里提到“明天”“天气”爪子张合一下提到“温度”灯环变成暖黄色。这种设计纯属加分项但非常能提升体验——用户看到设备有反应就不容易认为自己喊了个哑巴。状态机是让这一切不乱套的关键。我定义了如下状态状态触发条件动作IDLE空闲灯环呼吸绿LISTEN按键/唤醒词触发灯环变蓝指示灯亮WAIT_RESPONSE音频已上传爪子轻微张合PLAYING拿到文本后播放 TTS灯环随声音闪烁ERROR网络/API 异常灯环红闪播报提示音5. 烧录失败、内存不足与蓝牙配网三座绕不过去的坑5.1 VS Code 里编译成功却怎么也烧录不进开发板这个问题我碰到过不止一次而且网上问的人特别多基本集中在 S3 板子上。现象是在 VS Code 的 ESP-IDF 扩展里点“烧录”日志显示编译完然后一直Connecting.....__或者A fatal error occurred: Failed to connect to ESP32-S3。排查顺序基本固定先确认驱动。S3 有的板子用板载 USB 转串口CP2102有的用原生 USB-CDCWindows 下如果设备管理器里看不到 COM 口先装驱动按住开发板上的 BOOT 键再按一下 RESET 键然后松开 BOOT让它进入下载模式如果还是连不上检查 VS Code 里选择的串口号是不是被串口监视器占用了关掉监视器再试最后用命令行直接跑一次esptool.py --chip esp32-s3 -p COM3 --baud 921600 write_flash -z 0x0 build/mimi_claw.bin如果命令行能烧进去说明 VS Code 扩展配置问题多半是 chip type 没选对或端口选错如果命令行也连不上99% 是驱动或 BOOT 引脚没拉低。还有个常见误操作S3 有两种 USB 口一种是原生 USB-Serial/JTAG另一种是外接串口芯片的 UART 口。两个口物理位置不同烧录时要用对。用原生 USB-CDC 时经常需要先插上电再选端口不然系统里根本枚举不出来。5.2 PSRAM 配置与内存不足S3 的 SRAM 太紧张跑 TLS 和 JSON 分析时经常esp_malloc失败。解决分两步第一步是开 PSRAM。在 ESP-IDF 里运行idf.py menuconfig然后进入Component config → ESP32S3-specific → Support for external PSRAM → Octal mode PSRAM选中后编译系统才会自动把部分 heap 放到 PSRAM。Arduino-ESP32 内核默认已经开了 Octal PSRAM但要注意你买的板子到底是 Octal 还是 Quad 模式模式选错会导致启动日志卡在Detecting PSRAM失败。第二步是主动把大缓冲区放到 PSRAM。例如麦克风 DMA buffer、音频解码缓存、JSON response 缓存我统一用heap_caps_malloc(16384, MALLOC_CAP_SPIRAM)分配。放一次就能感受到内存压力明显缓解。另外日志级别尽量调成 WARN。默认 INFO 日志在 115200 波特率下会疯狂刷屏不仅浪费 CPU还会把串口调试节奏打乱。5.3 BLE 配网和蓝牙相关认知很多人一上来就指望像连蓝牙耳机一样“配对”ESP32-S3。这里有个关键点S3 只有 BLE没有经典蓝牙。BLE 的“连接”和手机配耳机背后的逻辑完全不同更像是一种可动态枚举的服务。我的做法是用 BLE 做一个配置服务手机通过蓝牙发给板子 Wi-Fi 的 SSID 和密码板子收到后尝试连网然后把结果通过 BLE 通知回去。推荐用NimBLE-Arduino库它比原版 BLEDevice 省内存。具体的 GATT 服务可以设计成Service UUID0000ff10-0000-1000-8000-00805f9b34fbWrite Characteristic用来接收 JSON 格式的配网信息Notify Characteristic用来上报连接结果手机端不需要写 App用通用 BLE 调试工具就能完成配网。这条链路适合做产品化如果是自己折腾直接用串口输 Wi-Fi 信息更快。5.4 想接 OV5640 摄像头这几个点提前想清楚网上关于 S3 接 OV5640 的讨论也很多。OV5640 是 DVP 接口摄像头数据位宽 8bit需要占用一堆 GPIO而且与 I2S 麦克风引脚经常冲突。如果你非要在 MimiClaw 上做视觉识别我建议分辨率控制在 640×480 或 800×600不要尝试 2592×1944S3 的 DMA 和内存受不了使用 ESP-IDF 的esp_camera驱动而不是自己去写 SCCB 时序摄像头和麦克风不要共用一个 I2S 引脚最好换一块引脚更宽松的 AI 开发板。视觉识别出来的结果也是走大模型链路——拍照OCR 识别文字再送去问答解析整体延迟尚可接受。5.5 关于 CAN/TWAI 的一点延伸不少网友搜索“esp32-s3 can”其实 S3 内置的是 TWAI 控制器电气上需要外接收发器芯片比如 SN65HVD230才能连到 CAN 总线上。我目前没有给 MimiClaw 接 CAN但如果你之后想让它读取车辆数据或者连接工业传感器可以在扩展 GPIO 上接收发器IDF 里也自带 TWAI 驱动例子比用 SPI 外挂 MCP2515 省硬件成本。6. 实测延迟、功耗和后续扩展方向6.1 实测指标我把整套系统放在客厅路由器旁边测试AP 信号强度大约 -55dBm整体表现如下环节耗时本地按键/唤醒触发到开始录音100ms录音时长固定3s语音识别云端1~2s大模型响应使用轻量模型2~5sTTS 生成播放2~4s总链路8~14s对于桌面小助手来说8 到 14 秒还不算太离谱主要是录音和大模型推理占了大头。想提速的话可以把固定录音改成 VAD 自动检测说话结束这样通常能把录音压缩到 1.5 秒左右但实现复杂度会高一些。功耗方面实测如下场景电流空闲无 Wi-Fi 活动110mA监听唤醒词150mA播报 TTS250mA舵机动作瞬间瞬时 800mA如果是纯电池供电一个 1200mAh 锂电池大概能用 3 小时左右。日常桌面使用建议直接 Type-C 供电别折腾电池省心。6.2 后续扩展方向做完基础功能后我给它规划了三条路也都陆续试出了一点效果第一是接本地大模型。把大模型 API 地址改成局域网电脑上跑的 Ollama 服务http://192.168.x.x:11434/v1实现完全内网运行的 AI 助手。这样不依赖公网服务断网也能用隐私也更可控。S3 只做交互前端本地 Ollama 负责推理整体延迟甚至能比公网 API 还低因为省去了上传音频和 TTS 两张公网请求。第二是视觉识别。接 OV5640 摄像头后让它定期拍桌面发现特定物体就主动播报。虽然 S3 跑不了 YOLO但把图片隔几秒上传到云端做识别是完全可行的。当前 S3 的网络带宽传一张 640×480 JPEG大概 100KB 上下可以接受。第三是 TWAI/工业传感器采集。如果未来想让它做一个环境监测哨兵接上温湿度、空气质量传感器配合 LoRaWAN 模块做广域网上报这块板子的低功耗和稳定外设能力也都是够用的。6.3 一点个人经验最后分享一个我非常想强调的操作心得我在实际测试中发现Wi-Fi 信号一旦低于 -75dBm大模型请求就经常超时所以不要轻视天线位置。还有一个我踩过很多次的坑舵机动作的那一瞬间电流冲击特别大轻则屏幕闪重则整板重启解决办法就是舵机独立供电外加一个大电容稳住电压。别偷懒把舵机直接挂在开发板的 5V 上那是把整个项目的稳定性都抵押掉了。MimiClaw 目前还在我的桌面上每天工作虽然它不是那种能跑本地大模型的“真 AI 硬件”但“麦克风 Wi-Fi 大模型 舵机”这条链路已经让我体会到硬件交互和 AI 结合的美妙之处在于你不需要打开任何 App只要开口它就在那里。