『瀚思彼岸』» 智能家居技术论坛

标题: esphome怎么实现语音识别的？ [打印本页]
作者: bugensui    时间: 2024-9-10 14:20
标题: esphome怎么实现语音识别的？
我买了INMP441全向麦克风模块，准备玩下esphome的语音识别，之前已经用MAX98357音频放大器+喇叭+esp32，实现了esphome的扬声器了。看了esphome官方文档，要搭配个扬声器组件，合在一起就可以实现语音助理，可是官方文档写的太不清楚了。有玩过的老哥不，给点思路，1，他这个是免唤醒，24小时实时监听的，还是得配置唤醒词，2，他这个训练模型是在esp32芯片里跑的嘛？那esp芯片吃的消不？3，大致要怎么跟ha联动控制设备呢？

有玩过的大佬不，给点思路。esphome官网文档写的真是一言难尽。


[attach]63356[/attach]
作者: whxciotw    时间: 2024-9-10 14:37
以esphome接入ha而言：
1，唤醒，硬件，是用麦克风拾音+esp。
2，唤醒，软件，sst，可以在ha的主机，也可以另外算力更强的主机。esphome默认好像给了2个还是几个唤醒词的。额外的唤醒词训练我记得是可以ha或另外主机来做。
3，发声，硬件，是用喇叭+esp。
4，发声，软件，tts，一般在ha主机就行。有云、也有本地的。
5，语义理解，可以在HA配置云端或本地LLM，作为语音助理。

大致是这样，记得不是很准了。
作者: bugensui    时间: 2024-9-10 14:42
whxciotw 发表于 2024-9-10 14:37
以esphome接入ha而言：
1，唤醒，硬件，是用麦克风拾音+esp。
2，唤醒，软件，sst，可以在ha的主机，也可以 ...

可以，够详细，我搜索了论坛，这块大家玩的不多，都没有教程抄
作者: whxciotw    时间: 2024-9-10 14:47
bugensui 发表于 2024-9-10 14:42
可以，够详细，我搜索了论坛，这块大家玩的不多，都没有教程抄

你搜一搜esp32 s3 box，esphome有官方的项目支持这个硬件，可以做本地语音控制（想要的话，我二手出给你）
论坛里其实有人发过的，但是tts和sst的软硬件、local或云端llm，配置下来，还是不如现有的小爱小度流畅。作为一个完整的项目或教程，还不够成熟，需要自己东拼西凑。
想做个完美的本地语音控制，我觉得需要比较强的项目工程能力，最好还得自己设计个音箱
作者: xxlxmd    时间: 2024-9-10 14:53
普通 esp32 不太行 至少 80多那种才可以 普通的esp32我刷过tf的那个 可以识别 英文 up down left right 8种那个
作者: bugensui    时间: 2024-9-10 14:55
whxciotw 发表于 2024-9-10 14:47
你搜一搜esp32 s3 box，esphome有官方的项目支持这个硬件，可以做本地语音控制（想要的话，我二手出给你: ...

我就是想体验下折腾的乐趣，我也知道，目前esphome语音识别不成熟，就当个玩具，谢谢
作者: bugensui    时间: 2024-9-10 14:56
xxlxmd 发表于 2024-9-10 14:53
普通 esp32 不太行 至少 80多那种才可以 普通的esp32我刷过tf的那个 可以识别 英文 up down left right 8种 ...

那这个麦克风模块能玩什么呢？我感觉也不太行，计算能力不行
作者: DDDear    时间: 2024-9-10 15:07
1.需要配唤醒词，esphome自带2个唤醒词，其他的需要配合openWakeWord加载项。当然也可以用按钮等其他方式触发
2.只有2个唤醒词在esp32跑的，openWakeWord、stt和tts是在ha跑的。
3.接入ha以后，可以选择语音助手，和app端的语音助手使用方式一样。
[attach]63357[/attach]
找不到中文唤醒词，英文的用起来确实不如小爱。我这有几个唤醒词，其中Lisa还是比较好发音的，放在/share/openwakeword目录下，是openWakeWord加载项使用的。[attach]63358[/attach]

作者: bugensui    时间: 2024-9-10 15:12
DDDear 发表于 2024-9-10 15:07
1.需要配唤醒词，esphome自带2个唤醒词，其他的需要配合openWakeWord加载项。当然也可以用按钮等其他方式触 ...

esphome的部分代码能分享下不？这个算离线语音了吧，他这个esphome，是唤醒成功后，然后把获取到的音频，发送给ha处理，语音转文字是把，然后我根据文本，配置自动化对吧？
作者: DDDear    时间: 2024-9-10 15:23
bugensui 发表于 2024-9-10 15:12
esphome的部分代码能分享下不？这个算离线语音了吧，他这个esphome，是唤醒成功后，然后把获取到的音频， ...

我用的这个https://github.com/tronikos/esphome-packages
不用配置自动化，ha语音助手自动处理，简单的开关灯直接可以用，复杂的对话需要接入大模型。
作者: bugensui    时间: 2024-9-10 15:28
DDDear 发表于 2024-9-10 15:23
我用的这个https://github.com/tronikos/esphome-packages
不用配置自动化，ha语音助手自动处理，简单的 ...

好的，我研究下，我只需要简单的，开关灯，开关电视，开关电风扇，空调，。
作者: DIYSmartHome    时间: 2024-9-10 22:00
如果命令不多，可以用ASRPRO，这个的离线语音识别用起来还可以 。
https://bbs.hassbian.com/thread-24949-1-1.html
作者: bugensui    时间: 2024-9-10 22:38
DIYSmartHome 发表于 2024-9-10 22:00
如果命令不多，可以用ASRPRO，这个的离线语音识别用起来还可以 。
https://bbs.hassbian.com/thread-24 ...

我还是想着尝试自己diy玩玩，虽然知道不完美
作者: DIYSmartHome    时间: 2024-9-11 19:50
bugensui 发表于 2024-9-10 22:38
我还是想着尝试自己diy玩玩，虽然知道不完美

是DIY，ASRPRO如果不想焊可以 买开发板，不过也不一定适合你的场景
作者: Zerolone    时间: 2024-9-14 21:29
ASRPRO弄的好， 也可以做成动态的， 不过较麻烦
作者: bugensui    时间: 2024-9-14 22:33
Zerolone 发表于 2024-9-14 21:29
ASRPRO弄的好， 也可以做成动态的， 不过较麻烦

哪种简单，我就想实现简单的，开关设备，不需要复杂的逻辑能力。
作者: Zerolone    时间: 2024-9-14 23:03
那用asrpro足够了
作者: bugensui    时间: 2024-9-15 15:30
本帖最后由 bugensui 于 2024-9-15 15:32 编辑
DDDear 发表于 2024-9-10 15:07
1.需要配唤醒词，esphome自带2个唤醒词，其他的需要配合openWakeWord加载项。当然也可以用按钮等其他方式触 ...

大佬，我想请教下，这个esphome的语音识别，我说ok nabu，后面的命令可以是中文吗？比如打开电风扇，还是打开电风扇要说英文才行，我线连接好了。没有如何反应，开始的esp代码是arduino默认的，后面换成了esp-idf框架，可能还要线刷才行，另外如果我把唤醒词的开关关闭，是不是意味着，可以不说唤醒词，发布语音命令

怎么排查，我esp的麦克风，扬声器，语音识别，是成功状态？ha前端也没有看到扬声器和麦克风实体


作者: ylilike    时间: 2024-9-15 21:32
本帖最后由 ylilike 于 2024-9-15 21:33 编辑

复制代码

加了个离线语音模块，一般命令写好，调用就行了，这个实现简单些
作者: bugensui    时间: 2024-9-15 23:42
ylilike 发表于 2024-9-15 21:32
加了个离线语音模块，一般命令写好，调用就行了，这个实现简单些

用了哪些模块，你这块好像是免唤醒的
作者: yjl    时间: 2024-9-17 11:17
还没学到这块，先留个记号
作者: DDDear    时间: 2024-9-18 09:51
bugensui 发表于 2024-9-15 15:30
大佬，我想请教下，这个esphome的语音识别，我说ok nabu，后面的命令可以是中文吗？比如打开电风扇，还是 ...

唤醒后说中文就可以，和官方app的语音助手一样。
应该是需要唤醒才去检测语音，可以不用唤醒词唤醒，弄一个虚拟或者实体的按钮触发也行。
排查可以打开esp网页端的看下日志，初始化的时候应该有麦克风和扬声器的状态日志，esp识别到模块就没问题吧。
ha前端我也没发现有扬声器和麦克风的实体，只在语音助手那里显示有几个语音助手设备，唤醒词和用哪个语音助手都是在esphome集成那里配置的
作者: bugensui    时间: 2024-9-18 11:31
DDDear 发表于 2024-9-18 09:51
唤醒后说中文就可以，和官方app的语音助手一样。
应该是需要唤醒才去检测语音，可以不用唤醒词唤醒，弄一 ...

谢谢大佬的回复，可能是我买的麦克风模块有问题吧，实在不行，只能重新买个了，你说的，可以不用唤醒词唤醒，弄一个虚拟或者实体的按钮触发也行，官方文档没有看到案例，
作者: DDDear    时间: 2024-9-18 14:38
bugensui 发表于 2024-9-18 11:31
谢谢大佬的回复，可能是我买的麦克风模块有问题吧，实在不行，只能重新买个了，你说的，可以不用唤醒词唤 ...

大佬您太客气了，相互交流学习。
https://esphome.io/components/vo ... l#click-to-converse
这个吧，我一开始试过，但是最后没用上
作者: bugensui    时间: 2024-9-18 15:00
DDDear 发表于 2024-9-18 14:38
大佬您太客气了，相互交流学习。
https://esphome.io/components/voice_assistant.html#click-to-convers ...

pin我不知道填哪个，因为我就想用 虚拟按钮调试下，面包板上，没有实体按钮接线，他这个应该是用实体按钮接线到esp板子，然后触发的，
作者: duanyudan123    时间: 2024-9-18 15:27
https://github.com/FutureProofHomes/Satellite1-Hardware
年底会有专用的语音助手硬件，目前有第三方语音开发套件还未开售。方案都是基于xmos专用音频处理芯片来设计的。esp32+全向麦克风方案经过我的测试体验很一般甚至可以用差来形容，不过可用用来学习唤醒/识别/等一些流程。官方的语音助手是开箱即用的，esphome有一个voice kit的专用组件（还在制作中）。可以直接安装现成的固件，类似乐鑫的s3-box安装方式，但是硬件有更强的音频处理能力。
作者: bugensui    时间: 2024-9-18 16:06
duanyudan123 发表于 2024-9-18 15:27
https://github.com/FutureProofHomes/Satellite1-Hardware
年底会有专用的语音助手硬件，目前有第三方语音 ...

我看了介绍，感觉很炫酷，希望价格在300以内。
作者: bugensui    时间: 2024-9-18 16:09
duanyudan123 发表于 2024-9-18 15:27
https://github.com/FutureProofHomes/Satellite1-Hardware
年底会有专用的语音助手硬件，目前有第三方语音 ...

esp32+全向麦克风方案，是不是ha的网址要配置成https的？我目前是http的，我在怀疑是不是我没有上ssl证书，导致不行，但是我的理解，应该不用，你用浏览器端的麦克风，为了安全，确实要https，我用的是本地esp32上的，跟ha走的是api，应该是可以不用ssl的，我理解对不
作者: DDDear    时间: 2024-9-18 16:28
bugensui 发表于 2024-9-18 15:00
pin我不知道填哪个，因为我就想用 虚拟按钮调试下，面包板上，没有实体按钮接线，他这个应该是用实体按钮 ...

这样试下能唤醒吧，我没试，唤醒了esphome集成那里应该有日志
  1. binary_sensor:
  2.   - platform: template
  3.     name: "Virtual Button"
  4.     id: virtual_button
  5.     on_click:
  6.       - if:
  7.           condition: voice_assistant.is_running
  8.           then:
  9.             - voice_assistant.stop:
  10.           else:
  11.             - voice_assistant.start_continuous:
复制代码
作者: duanyudan123    时间: 2024-9-18 16:33
和证书没关系，排查接线是否正确。按键后有一个传感器显示是（语音助手进行中-打开）。
作者: bugensui    时间: 2024-9-18 16:35
DDDear 发表于 2024-9-18 16:28
这样试下能唤醒吧，我没试，唤醒了esphome集成那里应该有日志

好的，我试试，谢谢大佬了。麻烦您了。
作者: bugensui    时间: 2024-9-18 16:35
duanyudan123 发表于 2024-9-18 16:33
和证书没关系，排查接线是否正确。按键后有一个传感器显示是（语音助手进行中-打开）。 ...

好的，我排查下接线试试，谢谢
作者: ylilike    时间: 2024-9-20 14:46
bugensui 发表于 2024-9-15 23:42
用了哪些模块，你这块好像是免唤醒的

su03t，这个



欢迎光临 『瀚思彼岸』» 智能家居技术论坛 (https://bbs.hassbian.com/) Powered by Discuz! X3.5