网络与传输
按 2026-11-12 抓取的官方 main 分支 README「已实现功能」,小智 AI 支持以下联网方式:
- Wi-Fi、有线以太网、USB RNDIS,以及 ML307/EC801E 或 NT26 Cat.1 4G 网络
- 部分硬件支持 Wi-Fi 与 4G 切换
- Wi-Fi 配网提供热点和 BluFi 两种方式
设备与服务器之间有两种通信传输方式:WebSocket 与 MQTT + UDP,官方在仓库分别提供了 docs/websocket_zh.md(WebSocket 通信协议文档)与 docs/mqtt-udp_zh.md(MQTT + UDP 混合通信协议文档),章节涵盖总体流程、二进制协议版本、JSON 消息结构、音频编解码、状态流转、错误处理等,做服务端对接或排查链路问题时可按文档核对,协议报文细节此处不展开。
语音与对话链路
- 音频采用 Opus 流,既支持传统的流式 ASR + LLM + TTS 方案,也支持 Realtime 端到端语音模型
- 唤醒基于乐鑫 ESP-SR,在设备端离线运行,未联网时也能唤醒,但对话链路仍需联网
- 具备 AEC 的硬件可实现实时全双工交互,是否支持取决于具体板卡的硬件条件
- 声纹识别采用 3D Speaker 方案,可识别当前说话人身份
官方问答 Q22 提醒,受限技术框架和硬件实现效果,不能 100% 识别,说话人越多,分辨的准确率会下降。想启用听声辨人,按官方教程在控制台智能体的声纹识别弹层中选择一段语音记录(建议适当长一点、表述较为清楚的),填写名称和描述后点击 OK 添加说话人,可以添加多个。
面包板方案若唤醒无反应,官方排障思路包括核对麦克风 6 脚接线、确认 INMP441 带进声孔的一面朝上、VDD 与 GND 不能反接(反接会烧麦克风)、必要时换备用麦克风测试,仍不确定时可用串口工具查看设备输出日志定位问题。
显示、语言与控制扩展
- OLED / LCD 显示屏支持表情和丰富的情绪呈现,部分硬件支持摄像头视觉输入;另有电量显示与电源管理
- 界面语言 38 种,语音提示优先使用本地化资源,缺失时自动回退到英文
- 芯片平台覆盖 ESP32、ESP32-C3、ESP32-C5、ESP32-C6、ESP32-S3、ESP32-P4
- 控制能力分两层:设备端 MCP 实现音量、灯光、电机、GPIO 等设备控制;云端 MCP 扩展大模型能力,覆盖智能家居控制、PC 桌面操作、知识搜索、邮件收发等
面包板方案的 sRGB 状态灯可辅助判断设备状态:
- 通电后蓝色闪烁一次表示正在连接 WiFi,随后闪一次绿色表示已连上 WiFi、可被语音唤醒
- 蓝色保持长亮表示正在进行 OTA 固件更新,网络好时约一分钟内完成
- 蓝色一直闪烁表示处于配网状态
- 唤醒后蓝色亮起表示正在连接服务器,绿色亮起表示正在播放语音,红色亮起表示正在录音
灯不亮多数是 RGB 焊点未接通,不影响配网但看不到状态提示。屏幕不亮时先按接线教程核对 4 脚 OLED 的接线,44 脚与 42 脚开发板要对照各自版本的接线表格。
不支持与受限的能力
| 边界 | 官方口径 | 出处 |
|---|---|---|
| 蓝牙连接 | 暂时不支持蓝牙连接;ESP32-S3 芯片只支持蓝牙 BLE 从机模式(只支持被连接),因此小智终端不能连接蓝牙耳机或蓝牙音箱,需要该功能须另加蓝牙主机模块和代码程序 | 官方问答 Q15 |
| 插耳机或 3.5mm 音频孔输出 | 默认不支持,需更换支持 I2S 的音频模块 | Q17 |
| 功放 | 默认数字功放 MAX98357 支持约 3W 喇叭,ESP32 开发板的 USB 供电一般不超过 5W,使用功率较大的音频功放需要另外单独供电 | Q16 |
| USB 供电 | 用电脑 USB 口供电时喇叭功率达到 3W 可能供电不足,出现卡顿或突然没声音,建议改用 5V2A 及以上的 USB 充电头或 5V2.1A 的充电宝 USB 口 | Q6 |
| 电池 | 需要加装 5V 电压升压模块才能支持:ESP32S3 开发板需要 5V 供电,锂电池通常 3.8V 电压不够,官方建议加装带 5V 输出的充放电一体板,充电宝也可通过 Type-C 口直接供电 | Q24 |
| 电机/舵机 | 默认不支持语音控制电机/舵机,需要加舵机/电机驱动模块再通过 IoT 框架扩展,官方已适配 ESP-SparkBot 开发板(坦克)实现小车运动控制 | Q25 |
| 音乐 | 受版权限制,曲目仅限测试歌曲、网友提交的歌曲以及一些儿歌,需要更多音乐可自行扩展 IO 接口播放本地音乐(如 TF 卡),或自行实现连接第三方平台的音乐播放接口 | Q13 |
| 大模型 | 早期问答 Q14 列出过 Qwen 2.5(实时)、DeepSeek V3、DouBao 1.5 Pro、Qwen Max 2.5 并说明在管理后台控制面板切换;Q29 写「暂时不支持」接入 GPT 等。这两条都属早期固件口径,当前可选项以官方渠道实际显示为准 | 早期问答 Q14、Q29 |
另注:官方问答开头说明,除 ESP32-S3-WROOM-1 系列开发板相关外,其内容大部分针对面包板配置方案,其他厂商方案的边界以厂商说明为准。天线信号弱导致找不到 Xiaozhi-xxx 热点时,官方教程给出的缓解办法包括用软导线围绕模块天线缠绕约 3 圈、靠近路由器信号较好的位置,或临时用手触摸天线位置辅助联网。