JasonYANG170 的 LogoYANG Docs
首页
硬件
软件
AI
3D
主站
首页
硬件
软件
AI
3D
主站
OSHWLab

ESP32S3视觉及语音交互AI助手

本项目基于云侧多模态大模型,可实现环境识别,视觉交互,语音交互,文字交互功能

开源硬件2025-02-10T01:27:34.000Z★ 169
查看原始项目 ↗
ESP32S3视觉及语音交互AI助手

项目文档

AIOT-Phone多模态大模型AI终端设备

Static BadgeCommit ActivityLanguages Count Discord

这是一项基于C语言的多模态大模型AI终端设备

程序源码/服务器Docker,Node.JS文件: https://github.com/JasonYANG170/AIOT-Phone

外壳文件: https://makerworld.com/zh/models/656401#profileId-583429

ESP32 LVGL Chat with AI

无法播放请点此使用BiliBili

更新日志

V1.1: 1.修正LCD触控排线的开孔位置。 2.完善电路设计图,添加分类和注释 3.max98357改用QFN封装 4.触控排线座选用较小封装 V1.2: 1.供电功率不足,修改ME6217C33M5G到CJ6109B33M,
封装一致,增加供电电流 V1.3: 1.修改LDO为TLV62569DBVR,增加线宽,理论提升供电电流到2A。 PS:等有空再把摄像头和屏幕改成独立供电并重新布局下去掉一些不重要的器件。 V2.0(验证中): 1.全部布局布线完成重构重绘,最大电源线宽增至1mm,确保电流足够。 2.ESP32S3移至板边并挖天线槽位,大大提升信号质量,减少干扰。 3.添加4个LDO,屏幕、摄像头、扬声器、主控均已完成分开供电。 4.使用IP5306充放一体芯片作为电池管理。 5.新增2个功能按键,1个总电源开关。

功能

  • ✅支持环境视觉识别
  • ✅支持语音交互
  • ✅支持语音播放
  • ✅支持多国语音
  • ✅支持多模态大模型
  • ✅支持LVGL9.1
  • ✅支持触摸屏交互
  • ✅支持屏幕亮度调节。

如遇问题,请向我提出issues

项目参数

  • 本设计采用OV2640摄像头,以实现对环境的视觉采样;
  • 本设计采用max98357音频芯片,以实现应答语音播放;
  • 本设计采用INMP441全向麦风,以实现环境音频采样;
  • 本项目支持MQTT服务功能,您可接入您的MQTT服务器并可以使用我开发的开源客户端控制
  • 本项目服务使用Docker、Node.js自搭建,在Github提供doceker-compose.yml和服务器JS文件,方便一键部署

开源协议

本项目遵循CC BY-NC-SA 4.0开源协议,使用本程序时请注明出处并进行版权声明
本项目仅供学习研究与学习,严禁非授权的商业获利,
如果您有更好的建议,欢迎PR

喜欢这个项目,请为我点个Star ⭐

Star History Chart

实物图

1 2
5181f6d7c68fe5cc31673a2e0d8071f 6b2c1da903099bfe7ce53477610a229
01d707e478b931b0958bd30d4e020cc 86d2205ab37787efd5aef429db36118
3a8b6ff10a777a191f7fc093dbcbc1b 77465f6cea63967e52ca40b6a876a90
首页/硬件项目