esphome怎么实现语音识别的？

bugensui

我买了INMP441全向麦克风模块，准备玩下esphome的语音识别，之前已经用MAX98357音频放大器+喇叭+esp32，实现了esphome的扬声器了。看了esphome官方文档，要搭配个扬声器组件，合在一起就可以实现语音助理，可是官方文档写的太不清楚了。有玩过的老哥不，给点思路，1，他这个是免唤醒，24小时实时监听的，还是得配置唤醒词，2，他这个训练模型是在esp32芯片里跑的嘛？那esp芯片吃的消不？3，大致要怎么跟ha联动控制设备呢？

有玩过的大佬不，给点思路。esphome官网文档写的真是一言难尽。

whxciotw

以esphome接入ha而言：
1，唤醒，硬件，是用麦克风拾音+esp。
2，唤醒，软件，sst，可以在ha的主机，也可以另外算力更强的主机。esphome默认好像给了2个还是几个唤醒词的。额外的唤醒词训练我记得是可以ha或另外主机来做。
3，发声，硬件，是用喇叭+esp。
4，发声，软件，tts，一般在ha主机就行。有云、也有本地的。
5，语义理解，可以在HA配置云端或本地LLM，作为语音助理。

大致是这样，记得不是很准了。

bugensui

whxciotw 发表于 2024-9-10 14:37
以esphome接入ha而言：
1，唤醒，硬件，是用麦克风拾音+esp。
2，唤醒，软件，sst，可以在ha的主机，也可以 ...

可以，够详细，我搜索了论坛，这块大家玩的不多，都没有教程抄

whxciotw

bugensui 发表于 2024-9-10 14:42
可以，够详细，我搜索了论坛，这块大家玩的不多，都没有教程抄

你搜一搜esp32 s3 box，esphome有官方的项目支持这个硬件，可以做本地语音控制（想要的话，我二手出给你）
论坛里其实有人发过的，但是tts和sst的软硬件、local或云端llm，配置下来，还是不如现有的小爱小度流畅。作为一个完整的项目或教程，还不够成熟，需要自己东拼西凑。
想做个完美的本地语音控制，我觉得需要比较强的项目工程能力，最好还得自己设计个音箱

xxlxmd

普通 esp32 不太行 至少 80多那种才可以 普通的esp32我刷过tf的那个 可以识别 英文 up down left right 8种那个

bugensui

whxciotw 发表于 2024-9-10 14:47
你搜一搜esp32 s3 box，esphome有官方的项目支持这个硬件，可以做本地语音控制（想要的话，我二手出给你: ...

我就是想体验下折腾的乐趣，我也知道，目前esphome语音识别不成熟，就当个玩具，谢谢

bugensui

xxlxmd 发表于 2024-9-10 14:53
普通 esp32 不太行 至少 80多那种才可以 普通的esp32我刷过tf的那个 可以识别 英文 up down left right 8种 ...

那这个麦克风模块能玩什么呢？我感觉也不太行，计算能力不行

DDDear

1.需要配唤醒词，esphome自带2个唤醒词，其他的需要配合openWakeWord加载项。当然也可以用按钮等其他方式触发
2.只有2个唤醒词在esp32跑的，openWakeWord、stt和tts是在ha跑的。
3.接入ha以后，可以选择语音助手，和app端的语音助手使用方式一样。

找不到中文唤醒词，英文的用起来确实不如小爱。我这有几个唤醒词，其中Lisa还是比较好发音的，放在/share/openwakeword目录下，是openWakeWord加载项使用的。 openwakeword.zip (737.23 KB, 下载次数: 9)

2024-9-10 15:03 上传

点击文件名下载附件

bugensui

DDDear 发表于 2024-9-10 15:07
1.需要配唤醒词，esphome自带2个唤醒词，其他的需要配合openWakeWord加载项。当然也可以用按钮等其他方式触 ...

esphome的部分代码能分享下不？这个算离线语音了吧，他这个esphome，是唤醒成功后，然后把获取到的音频，发送给ha处理，语音转文字是把，然后我根据文本，配置自动化对吧？

DDDear

bugensui 发表于 2024-9-10 15:12
esphome的部分代码能分享下不？这个算离线语音了吧，他这个esphome，是唤醒成功后，然后把获取到的音频， ...

我用的这个https://github.com/tronikos/esphome-packages
不用配置自动化，ha语音助手自动处理，简单的开关灯直接可以用，复杂的对话需要接入大模型。