用ESP32和小智AI框架打造会对话的桌宠狗

前阵子在工位放了只“桌宠狗”同事路过都会多看一眼喊它名字会转头问它天气会眨眼睛无聊的时候还能摆摆手。其实底座就是一块ESP32开发板外层套了个打印的壳真正让它“活”过来的是开源小智AI框架加三路舵机。这个组合成本不高、代码量也不算大但做出来的东西很讨喜而且从语音识别到动作联动的链路足够完整很适合想从零跑通一个AI硬件项目的朋友。这篇记录会把整个项目从设计到踩坑的过程完整写一遍硬件选型、供电设计、固件编译、小智框架的配置、舵机控制逻辑以及我实测中遇到的各种问题基本都能对号入座。如果你手里有ESP32开发板和几个SG90/MG90S舵机跟着走一遍大概一个周末就能让桌宠狗跑起来。1. 这个项目到底在做什么——设计思路拆解先说清楚“开源小智AI框架”是个什么东西。它是一个专门跑在ESP32系列芯片上的语音助手方案底层接大模型API支持本地唤醒词识别、语音对话、播放回复音频同时留有各种外设扩展能力比如按键、屏幕、RGB灯以及本次用到的舵机。你可以把它理解成一套完整的“AI设备固件”自己不用从零写麦克风采集、音频编解码、网络协议那些底层逻辑只需要把板子引脚接好、配置文件填好再写一点动作逻辑就能做出一个有对话能力的桌面机器人。1.1 为什么选择开源小智AI框架而不是从零造轮子一开始我也想过自己搭语音链路ESP32接麦克风模块录音后上传到语音识别服务拿到文本再调大模型API返回文本后还要TTS合成再通过功放播放出来。且不说ESP32的内存和算力能不能扛住这些流程光是音频缓冲、网络断线重连、唤醒词检测这几块就够折腾几周。小智AI框架正好把这些都封装好了。它内置了唤醒词检测你喊“小智小智”就能触发内置了音频编解码器驱动常见的ES8311、ES8388等音频芯片插上就能用网络层支持Wi-Fi和以太网更重要的是它把舵机作为标准外设纳入了配置体系。换句话说我只需要专注于“狗的动作”这一件事语音播报、对话管理这些交给框架处理。1.2 为什么是ESP32 舵机而不是选择带屏成品或机械臂市面上有很多桌面AI音箱、带屏宠物机器人但它们的形态基本是固定的。用ESP32加舵机的好处首先是开源可控动作完全自己定义头部可以左右摇头、耳朵可以竖直、手臂可以摆动甚至加上尾巴就是一个全新的物种。其次是价格门槛低一套下来可能只要几十元到一百元出头对比动辄几百上千的成品桌面机器人试错成本低很多。舵机选型上桌宠狗这种轻负载场景用的最多的是SG90和MG90S。SG90是塑料齿轮反应快、便宜缺点是稍微用力撞一下容易扫齿MG90S是金属齿轮同样尺寸但更耐用。我这次用的MG90S毕竟狗头在转动时如果碰倒东西或者被手按住齿轮受力比较大金属齿轮要稳不少。总线舵机比如飞特的LX-16A虽然能级联、能回读角度但需要额外的串口转接和固件修改新手阶段没必要一步到位。1.3 整体架构语音到动作的完整链路桌宠狗的硬件结构可以分成四层电源层、主控层、语音层、动作层。电源层负责给所有模块供电主控层就是ESP32开发板负责运行小智AI固件语音层由麦克风、音频编解码芯片和喇叭组成完成拾音和放声动作层则是几路舵机通过PWM信号控制头部、手臂、尾巴的运动。数据流大概是这样一个过程你喊“小智小智”唤醒设备麦克风采集到声音后框架调用语音识别将音频转成文本然后请求大模型生成回复回复文本再转成语音播放。在这个过程里我可以通过框架预留的“动作触发”接口让舵机根据某些关键词或指令做出预设动作比如听到“你好”就点头听到“再见”就摆手。这样整条链路就不是单纯的“问—答”而是有表情、有肢体反馈的完整交互。注意小智AI框架虽然减少了很多底层工作量但并不是零代码方案。你依然需要了解ESP32的引脚分配、PWM原理、配置文件格式以及最简单的编译烧录流程。对完全没接触过单片机的朋友建议先看几篇ESP32的Arduino教程心里有个底再来做这个项目。2. 硬件选型与接线新手最容易翻车的环节桌宠狗项目里硬件部分决定了下限供电不够稳舵机就会抽搐引脚接错舵机轻则不动重则烧坏电机驱动。所以这块我会写得很细包括我踩过坑之后的修正方案希望能帮你少走弯路。2.1 主板、舵机、音频模块怎么搭配开发板我建议直接用ESP32-S3系列比如ESP32-S3-DevKitC或者合宙ESP32-S3-Zero。原因有几点S3的算力比老ESP32强不少跑小智AI的大模型网络请求和音频编解码更流畅S3自带更多GPIO方便同时接音频、舵机和按键S3原生支持RGB屏和摄像头扩展后续想升级显示功能也不用换板子。如果手头只有经典ESP32也能跑但内存和引脚会紧张一些。舵机数量我建议先从2到3路开始。我这次用了3路头部左右旋转、左臂摆动、右臂摆动。如果想精简2路就够一个管头一个管尾巴。不要一开始就上6路甚至更多动作设计和供电复杂度会指数级上升。音频方案是很多人容易忽略的。小智AI框架对麦克风有要求最简单的单麦方案是INMP441直接I2S接口接到ESP32如果要更好的降噪效果可以用双麦阵列但代码和接线会复杂不少。喇叭建议搭配功放芯片常见是MAX98357A也是I2S接口接一个3W小喇叭就能出比较清晰的声音。这是我的搭配INMP441麦克风 MAX98357A功放 3W喇叭。2.2 电源设计复位电流和舵机抖动怎么破这个项目里90%的“灵异现象”都来自供电问题。ESP32在Wi-Fi发射和舵机同时转动的瞬间电流峰值会很高。我实测过MG90S堵转时电流可以到700mA以上ESP32在Wi-Fi发射时也有300mA上下的瞬间波动。如果所有模块都从一个USB口取电板载LDO根本顶不住结果就是系统反复重启或者舵机刚启动就卡顿、抖动。我的解决方案是“主控和舵机分开供电共地处理”。具体来说ESP32开发板用USB或5V电源单独供电舵机单独接一路5V电源。舵机电源我用的是外接5V 2A以上的电源适配器或者用一块支持5V输出的锂电池升压板。三路MG90S同时动作时理论上最大电流可能到2A左右所以电源余量留足一点比较安心。共地这一步非常关键。舵机和ESP32要有公共的地线否则PWM信号的电平参考点不同舵机会出现无法预测的乱转。我会在接线表里专门强调这一根线。2.3 完整接线表与初始化检查我这里整理了一份亲测可用的接线表基于ESP32-S3开发板但换成其他型号时只需要把引脚号对应改掉就行。舵机信号线是橙色或黄色红线是电源棕线或黑线是地。模块引脚连接到舵机1头部信号线GPIO12舵机1信号舵机2左臂信号线GPIO13舵机2信号舵机3右臂信号线GPIO14舵机3信号舵机电源线5V外部5V电源正极舵机地线GND外部5V电源负极同时接ESP32 GNDINMP441麦克风SDGPIO41I2S数据输入INMP441麦克风SCKGPIO42I2S位时钟INMP441麦克风WSGPIO2I2S字选择MAX98357A功放SDGPIO17I2S数据输出MAX98357A功放BCLKGPIO16I2S位时钟MAX98357A功放LRCGPIO15I2S字选择喇叭正负极MAX98357A输出接好线之后不要急着刷固件先做一轮初始化检查。用万用表测一下5V输出是否正常确认舵机电源和主控电源的地确实连通再看舵机信号线有没有插反、有没有和相邻引脚短路。我建议舵机信号线不要用母对母杜邦线直接怼在板上因为震动容易松最好点一滴热熔胶固定或者用带锁扣的端子线。注意舵机通电后如果没有给PWM信号会有大约5mA的待机电流这是正常的。但如果舵机嗡嗡叫或者发烫先断电检查信号线接线大概率是接地没接好或者信号引脚悬空把舵机“顶”在了某个角度。3. 固件编译与小智AI框架配置从零到可以联网对话硬件接好之后就是软件阶段。小智AI框架的获取方式在GitHub上可以直接搜到代码仓库名就是“小智AI”相关的拼音支持通过Arduino IDE或者PlatformIO编译。我用的是PlatformIO加VS Code的方式好处是依赖管理比较清晰换机器重编也不用重新配一堆库。3.1 编译环境搭建的两种方式最简单的方式是Arduino IDE。安装ESP32开发板支持包后从仓库克隆代码用Arduino IDE打开工程主文件选择开发板型号为ESP32S3 Dev Module然后直接编译上传。这种方式对新手最友好缺点是一旦需要修改复杂配置Arduino IDE里找文件不太方便。我更推荐PlatformIO。打开终端装好PlatformIO Core然后在小智AI仓库目录下执行pio run -e esp32-s3-devkitc-1 pio run -e esp32-s3-devkitc-1 -t upload第一次编译时间会比较长因为要拉取ESP32相关的工具链和库取决于网络环境大概10到30分钟不等。如果编译中途报错说“工具链下载失败”多半是网络问题可以配置PlatformIO使用国内镜像源。编译之前有一项很重要的操作检查工程里的分区表配置。小智AI框架的固件体积比较大默认分区表可能会不够用。建议在platformio.ini里确认board_build.partitions指向的是带app0和app1的“双OTA分区”配置这样后续固件升级就不会出现“空间不足”的提示。3.2 自定义设备配置与Wi-Fi接入烧录完成后第一次启动时小智AI框架会进入配网状态你需要用手机连接它发出的热点然后在网页里填上家里的Wi-Fi账号密码。配网成功后设备会自动连接MQTT服务器和音频服务默认情况下是可以直接对话的但要把大模型API换成自己的因为默认配置里可能只有测试接口不一定稳定。连接配置一般写在设备端有一个device.json或者config分区里。你需要修改的核心信息包括product_name给你的桌宠起个名字比如“旺财”这个名称会出现在配网页和设备上报信息里。wifi_ssid和wifi_password不过这个通常在配网阶段就写入了配置文件里有时候也会保存一份备份。tuya_mqtt或者mqtt相关地址和密钥小智AI框架的社区版一般允许使用公共MQTT也可以自己搭建。llm相关配置这里最重要你需要填大模型API的BaseURL、API Key和模型名称。目前常用的免费大模型平台都有OpenAI兼容接口直接把地址填进去就行。我自己的习惯是先在配置文件里把大模型API和语音服务都配好再通过串口监视器看日志确认连接状态。看到类似MQTT connected和websocket connected的日志说明网络链路已经通了。如果卡在“无法连接大模型API”先去检查API Key是否有效、余额是否充足不要急着怀疑代码。3.3 开启舵机扩展与配置文件里的关键参数小智AI框架的舵机扩展不是默认开启的。在配置文件里你需要找到外设相关的字段把舵机功能打开并指定引脚和默认角度。我用的版本里配置大致是这样的结构{ servo: { enabled: true, pins: [12, 13, 14], default_angle: [90, 90, 90], range: [0, 180], speed_limit: 60 } }注意speed_limit是一个很关键的参数它限制舵机每秒能转动的角度。设置得太高舵机会突然甩头机械结构容易被震松设置得太低动作又显得拖沓。我调下来觉得60度每秒比较自然像狗在慢慢转头不急促也不会呆板。另外小智AI框架会在启动时对舵机执行一次“归中”操作也就是把舵机驱动到default_angle。所以接好舵机后第一次上电它可能会自己转到90度位置这是正常现象。如果此时发现舵机反了或者方向不对可以在配置里加一个invert字段或者调整舵机摇臂的安装角度。4. 核心逻辑实现让桌宠狗听懂指令、做出动作配置好框架只是第一步真正有意思的是把动作逻辑写出来。小智AI框架预留了自定义动作的扩展点我们需要在固件的动作处理函数里写逻辑把语音识别得到的关键词映射到舵机动作上。4.1 舵机PWM控制原理以及ESP32的实现方式舵机的原理并不复杂它内部有一个电机、一个减速齿轮组和一个反馈电位器。通过控制信号脉宽让舵机内部电路驱动电机转到指定角度。标准的模拟舵机SG90、MG90S接收50Hz方波信号也就是周期20ms。脉宽0.5ms对应0度1.5ms对应90度2.5ms对应180度。ESP32上实现这个控制很简单用LEDC PWM外设即可。小智AI框架内部已经封装好舵机驱动所以你不一定需要自己写PWM底层但理解原理对排查问题很有帮助。我在动作逻辑里其实就是调用框架的舵机接口传入舵机编号和目标角度让它自动生成对应的PWM脉宽。// 伪代码示例控制1号舵机转到120度 servoController.setAngle(1, 120);如果你不想依赖框架的舵机库想先用Arduino方式测试舵机好坏也可以用官方ESP32Servo库基本代码长这样#include ESP32Servo.h Servo myservo; void setup() { myservo.attach(12); // 信号引脚GPIO12 } void loop() { myservo.write(0); delay(500); myservo.write(90); delay(500); myservo.write(180); delay(500); }这段代码能转说明舵机本身和供电没问题可以排除硬件故障再回到框架里调逻辑。4.2 桌宠动作设计点头、摇头、摆手的角度规划动作设计的核心在于“自然的动态效果”。不要简单地把舵机从一个角度瞬间切换到另一个角度而是要有快慢节奏。比如点头动作如果直接写write(60)再write(120)狗狗会像个机器人一样生硬地低头抬头。更自然的做法是分多步细化中间加一点延迟让角度平滑过渡。下面是我给自家桌宠狗设计的几套动作供你参考动作名称舵机1头舵机2左臂舵机3右臂触发方式打招呼从90转到70再回9090到140到9090到40到90听到“你好”摇头90到45到135再到45到90保持90保持90听到“不要”“不行”开心90到60到120到90左右快速摆动左右快速摆动听到“开心”等语气词睡觉90到13590到4590到45听到“睡觉”“晚安”每个动作在写代码时我用的是一个简单的平滑函数把目标角度分成若干小步每步间隔20到30毫秒这样舵机运动起来就有“细微的丝滑感”。我在动作执行前后还会加一小段随机延时避免每次回应都一模一样显得更有生命感。4.3 AI触发与动作联动的实现方式小智AI框架的动作触发可以基于两种方式一种是关键词匹配另一种是通过大模型的意图识别结果。第一种比较简单直接在识别文本里搜索关键词命中就执行对应动作第二种更智能但需要自定义system prompt让大模型返回特定结构化指令框架再解析这个指令并映射到动作。我采用的是“关键词匹配为主、大模型指令为辅”的组合方案。常规动作比如“你好”“再见”直接在本地用关键词匹配响应速度快不依赖大模型对于更复杂的指令比如“现在是几点”“今天天气怎么样”这类问题大模型返回回复文本的同时框架会把文本里的情感倾向或动作标签提取出来再触发相应动作。这样做的原因是减小延迟关键词匹配是本地执行的基本无延迟而如果每一步动作都要等大模型返回那只狗的回应会很“迟钝”体验就不太好了。注意动作函数里千万不要放耗时操作比如delay(5000)。因为小智AI框架的事件循环是单线程的长时间阻塞会导致音频卡顿、网络超时甚至看门狗重启。我在开发时吃过一次大亏写了个循环摆动动作里面用了delay(3000)结果语音播放到一半就断断续续最后直接重启了。后面改成用时间戳轮询的方式驱动舵机问题才解决。5. 常见问题与排查技巧实录整个项目从零到能跑我大概折腾了两个星期遇到的各种奇奇怪怪的问题也算是攒了一堆。下面这些是我觉得最典型、最值得分享的按层次分好方便你按图索骥。5.1 编译和烧录阶段的坑如果你编译小智AI框架时出现“文件系统分区过小”“编译产物超过分区大小”的报错不要急着改代码先看分区表和platformio.ini里的配置。ESP32-S3的Flash一般有4MB或8MB如果用默认的“单App”分区大固件很容易顶满。我在platformio.ini里指定了8MB Flash的配置并把分区表改成app0和app1双备份这样编译出来的固件和文件系统各占各的空间稳定很多。烧录的问题主要集中在驱动上。USB转串口芯片没装驱动是最常见的插上板子后设备管理器里看不到COM口或者显示黄色感叹号。ESP32-S3的板子通常用的是CP210x或CH340芯片前者去官网装驱动后者通常国内电脑自带如果没有就去下载CH340驱动。5.2 网络连接问题包括LAN8720以太网模块的几个经典故障小智AI框架默认走Wi-Fi但如果你用LAN8720以太网模块做有线连接稳定性的确好不少。不过LAN8720这套组合有几个高频问题我在这里一次性说清楚。第一接线必须准。LAN8720的TXD1、TXD0、TXD_EN、RXD1、RXD0这几个信号引脚要分别接到ESP32的特定GPIOESP32的RMII时钟必须从外部50MHz晶振或外部时钟源提供不能用内部RC振荡器。我一开始图省事没有焊外部50M晶振结果网卡完全无法协商换上带晶振的模块后问题消失。第二供电电压要匹配。LAN8720是3.3V器件但它的IO耐压不高电源一定要用3.3V不能用5V。有些模块上自带了LDO可以接5V输入但最好确认一下模块说明。我用过一个需要外接3.3V的模块错插5V后芯片立刻烫手直接报废。第三MAC地址冲突和初始化顺序问题。小智AI框架如果使用以太网网络初始化顺序可能会跟音频服务冲突。我遇到的现象是开机后以太网连上了但过几秒又断开日志里显示Ethernet link lost。后来发现是初始化函数里太早启动音频服务导致RMII引脚被复用。解决方法是把网络初始化放在音频初始化之前并且等网络稳定后再启动音频任务。问题现象解决方案LAN8720无法协商日志显示无链接网口灯不亮检查50M晶振和RMII引脚接线设备能连上但断流运行几分钟后网络中断不再恢复检查电源电压确认3.3V稳定优化接线引脚复用冲突开了以太网后音频或舵机失效调整初始化顺序避免GPIO功能冲突如果只是做桌宠狗Wi-Fi其实也够用我用LAN8720主要是为了在家里人多Wi-Fi环境不稳定的情况下保持长时间在线如果你只在办公桌上短时间演示可以跳过以太网这块。5.3 舵机不动、抖动、复位的终极排查顺序舵机出问题先别急着怀疑代码。我的排查顺序是先看舵机能不能用5V电源单独带动再看信号线电平是否正常最后才查框架配置和代码逻辑。舵机不动最常见的原因是供电电流不够。一个SG90在负载情况下可能需要500mA以上如果用电脑USB口直接给整个系统供电很可能在舵机转动的瞬间电压被拉低到4V以下舵机内部电路就停止工作了。遇到这种情况用万用表测舵机电源端的电压观察转动瞬间有没有大幅跌落。如果掉到4.5V以下加大电源容量或者单独供电。舵机抖动大概率是PWM信号不稳定或者舵机供电纹波太大。特别要注意舵机电源和ESP32之间共地是必须的但这并不意味着可以从ESP32的3.3V引脚给舵机供电。我最早的版本就是用开发板3.3V给SG90供电结果舵机跟帕金森一样抖个不停换成外接5V后立刻安静下来。还有一个容易忽略的点舵机信号线过长也会导致抖动。如果舵机和主板之间用了超过30cm的杜邦线信号线上的干扰会很明显。我项目里把舵机放在狗身上控制板也放在狗肚子里线长控制在10cm以内问题就少了。5.4 桌宠狗项目的避坑速查表最后整理一个速查表方便你遇到问题时快速定位。现象可能原因快速检查方法设备反复重启供电不足测量5V电压观察舵机转动时跌落幅度舵机不动信号线插错/没共地用单独PWM测试代码驱动排除框架问题舵机抖动电源纹波大或信号干扰换独立电源、缩短信号线语音播放卡顿动作代码阻塞了主循环删除动作逻辑中的delay改用时间戳驱动无法连接Wi-Fi配网信息错误或信道不支持重新配网确认2.4G频段大模型回复超时API地址或密钥错误在配置里填写OpenAI兼容接口用curl测试接口连通性重要做这种多模块项目强烈建议“分阶段调试”。先单独测舵机、单独测麦克风、单独测网络全部通过后再组装在一起。不要等到所有硬件都装进狗壳子里才开始调代码那个状态下如果出问题排查难度会翻倍。写在最后这个小智AI框架加ESP32舵机桌宠狗的项目做完之后最大的感受是硬件AI项目其实没有想象中那么高不可攀但每一步都需要细心。尤其是供电和引脚配置看起来不起眼却能决定整个项目的成败。我自己第一次上电时舵机抽搐、设备重启、Wi-Fi失联全撞了一遍后来一步步排查才发现是供电不达标和共地没接好这两个低级错误。把这两个问题解决之后整只狗就顺了。我实际用下来的体会是桌宠狗适合摆在工位或者床头作为一个有“存在感”的小玩具。它不是一个生产力工具但它能让你直观地看到语音识别、大模型、IoT、嵌入式控制这些技术是怎么串起来的。如果你后续想扩展还可以加一个圆形小屏幕显示眼睛表情或者加一个热敏传感器让它“感知”到人的靠近这些扩展点都能继续用这套框架往上叠。