项目>小智AI>小智 AI 能力与边界:网络、显示、语言与声纹

小智 AI 能力与边界:网络、显示、语言与声纹

摘要:汇总官方已实现功能与问答边界:四种联网方式、两种传输、Opus 音频链路、离线唤醒、声纹、显示与双层 MCP,并标注蓝牙、音频输出、电机控制等不支持项。

网络与传输

按 2026-11-12 抓取的官方 main 分支 README「已实现功能」,小智 AI 支持以下联网方式:

  • Wi-Fi、有线以太网、USB RNDIS,以及 ML307/EC801E 或 NT26 Cat.1 4G 网络
  • 部分硬件支持 Wi-Fi 与 4G 切换
  • Wi-Fi 配网提供热点和 BluFi 两种方式

设备与服务器之间有两种通信传输方式:WebSocket 与 MQTT + UDP,官方在仓库分别提供了 docs/websocket_zh.md(WebSocket 通信协议文档)与 docs/mqtt-udp_zh.md(MQTT + UDP 混合通信协议文档),章节涵盖总体流程、二进制协议版本、JSON 消息结构、音频编解码、状态流转、错误处理等,做服务端对接或排查链路问题时可按文档核对,协议报文细节此处不展开。

语音与对话链路

  • 音频采用 Opus 流,既支持传统的流式 ASR + LLM + TTS 方案,也支持 Realtime 端到端语音模型
  • 唤醒基于乐鑫 ESP-SR,在设备端离线运行,未联网时也能唤醒,但对话链路仍需联网
  • 具备 AEC 的硬件可实现实时全双工交互,是否支持取决于具体板卡的硬件条件
  • 声纹识别采用 3D Speaker 方案,可识别当前说话人身份

官方问答 Q22 提醒,受限技术框架和硬件实现效果,不能 100% 识别,说话人越多,分辨的准确率会下降。想启用听声辨人,按官方教程在控制台智能体的声纹识别弹层中选择一段语音记录(建议适当长一点、表述较为清楚的),填写名称和描述后点击 OK 添加说话人,可以添加多个。

面包板方案若唤醒无反应,官方排障思路包括核对麦克风 6 脚接线、确认 INMP441 带进声孔的一面朝上、VDD 与 GND 不能反接(反接会烧麦克风)、必要时换备用麦克风测试,仍不确定时可用串口工具查看设备输出日志定位问题。

显示、语言与控制扩展

  • OLED / LCD 显示屏支持表情和丰富的情绪呈现,部分硬件支持摄像头视觉输入;另有电量显示与电源管理
  • 界面语言 38 种,语音提示优先使用本地化资源,缺失时自动回退到英文
  • 芯片平台覆盖 ESP32、ESP32-C3、ESP32-C5、ESP32-C6、ESP32-S3、ESP32-P4
  • 控制能力分两层:设备端 MCP 实现音量、灯光、电机、GPIO 等设备控制;云端 MCP 扩展大模型能力,覆盖智能家居控制、PC 桌面操作、知识搜索、邮件收发等

面包板方案的 sRGB 状态灯可辅助判断设备状态:

  • 通电后蓝色闪烁一次表示正在连接 WiFi,随后闪一次绿色表示已连上 WiFi、可被语音唤醒
  • 蓝色保持长亮表示正在进行 OTA 固件更新,网络好时约一分钟内完成
  • 蓝色一直闪烁表示处于配网状态
  • 唤醒后蓝色亮起表示正在连接服务器,绿色亮起表示正在播放语音,红色亮起表示正在录音

灯不亮多数是 RGB 焊点未接通,不影响配网但看不到状态提示。屏幕不亮时先按接线教程核对 4 脚 OLED 的接线,44 脚与 42 脚开发板要对照各自版本的接线表格。

不支持与受限的能力

边界 官方口径 出处
蓝牙连接 暂时不支持蓝牙连接;ESP32-S3 芯片只支持蓝牙 BLE 从机模式(只支持被连接),因此小智终端不能连接蓝牙耳机或蓝牙音箱,需要该功能须另加蓝牙主机模块和代码程序 官方问答 Q15
插耳机或 3.5mm 音频孔输出 默认不支持,需更换支持 I2S 的音频模块 Q17
功放 默认数字功放 MAX98357 支持约 3W 喇叭,ESP32 开发板的 USB 供电一般不超过 5W,使用功率较大的音频功放需要另外单独供电 Q16
USB 供电 用电脑 USB 口供电时喇叭功率达到 3W 可能供电不足,出现卡顿或突然没声音,建议改用 5V2A 及以上的 USB 充电头或 5V2.1A 的充电宝 USB 口 Q6
电池 需要加装 5V 电压升压模块才能支持:ESP32S3 开发板需要 5V 供电,锂电池通常 3.8V 电压不够,官方建议加装带 5V 输出的充放电一体板,充电宝也可通过 Type-C 口直接供电 Q24
电机/舵机 默认不支持语音控制电机/舵机,需要加舵机/电机驱动模块再通过 IoT 框架扩展,官方已适配 ESP-SparkBot 开发板(坦克)实现小车运动控制 Q25
音乐 受版权限制,曲目仅限测试歌曲、网友提交的歌曲以及一些儿歌,需要更多音乐可自行扩展 IO 接口播放本地音乐(如 TF 卡),或自行实现连接第三方平台的音乐播放接口 Q13
大模型 早期问答 Q14 列出过 Qwen 2.5(实时)、DeepSeek V3、DouBao 1.5 Pro、Qwen Max 2.5 并说明在管理后台控制面板切换;Q29 写「暂时不支持」接入 GPT 等。这两条都属早期固件口径,当前可选项以官方渠道实际显示为准 早期问答 Q14、Q29

另注:官方问答开头说明,除 ESP32-S3-WROOM-1 系列开发板相关外,其内容大部分针对面包板配置方案,其他厂商方案的边界以厂商说明为准。天线信号弱导致找不到 Xiaozhi-xxx 热点时,官方教程给出的缓解办法包括用软导线围绕模块天线缠绕约 3 圈、靠近路由器信号较好的位置,或临时用手触摸天线位置辅助联网。

资料来源

  • 78/xiaozhi-esp32 官方 README
  • 78/xiaozhi-esp32 官方开发者文档
  • 小智 AI 官方常见问题 Q&A

相关内容

FireBeetle 2 ESP32-P4小智AI桌面伴侣实践DFR1221圆屏适配小智AI:触摸修复与动态角色实践行空板K10变身AI PassPort:语音问答与猜谜互动实践行空板K10小智AI聊天机器人:固件烧录与配置实践语音指挥农夫自动寻路!行空板K10+MCP打造AI 3D农场实践AI健身助手 · 行空板K10+姿势识别实践