『瀚思彼岸』» 智能家居技术论坛

标题: 本地语音助手的体验，总体堪用了 [打印本页]

作者: wjh2972406 时间: 2024-3-9 12:53
标题: 本地语音助手的体验，总体堪用了
X86小主机装的官方OS，就装了HA，省的有BUG。买了个自带DAC和麦克风的USB小音响，插上机器就能识别，X86就这点好，比较少莫名其妙的问题。然后装了whisper paper openwakeword assist microphoe, 配置好后启用。语音唤醒正常，外放正常。但是中文对话没有反应。把whisper和paper更换成homeassistant cloud，可以正常语音控制HA里的配件了，比方说开灯关灯。但是问她问题，比方说天气怎样？还是回复我不能理解你的问题。跟谷歌的中文语音差的挺远的。

作者: bugensui 时间: 2024-3-9 13:57
ha的语音服务，还不完善，去年才刚起步，还在完善

作者: DDDear 时间: 2024-3-9 14:06
homeassistant cloud没用过，也是本地识别吗？

作者: c1pher_小愚 时间: 2024-3-20 17:39
whisper 是本地的stt
piper 是本地tts
openwakeword 是做唤醒
可以看到这里并没有大脑，ha本身的assistant只提供了控制的基础意图，你需要有openai或者其他的大模型才能做到对话

作者: wjh2972406 时间: 2024-3-21 09:42

25989406 发表于 2024-3-20 17:39
whisper 是本地的stt
piper 是本地tts
openwakeword 是做唤醒

whisper和piper的中文根本没法用，后边我换成微软的auze了，识别不错

作者: c1pher_小愚 时间: 2024-3-21 11:38

wjh2972406 发表于 2024-3-21 09:42
whisper和piper的中文根本没法用，后边我换成微软的auze了，识别不错

whisper识别不准可以上强度换模型，我用下来挺好的没什么问题。
piper tts的问题是他没有断句，体验不好，凑活用的状态

作者: wjh2972406 时间: 2024-3-21 11:50
本帖最后由 wjh2972406 于 2024-3-21 11:53 编辑

25989406 发表于 2024-3-21 11:38
whisper识别不准可以上强度换模型，我用下来挺好的没什么问题。
piper tts的问题是他没有断句，体验不好 ...

我的体验是太难受了，换大模型，太卡太延迟了。我的HA还是装在处理器是I7,内存是8G的X86小主机上，而且小主机就是单独装HA的，因为刚好闲置了个小主机。用微软的模型，就很流畅，识别也很OK。但是总体来说，这段时间折腾的外边的语音助手，中文识别这块，谷歌的最舒服，就是太依赖网络

作者: lujiashun1 时间: 2024-3-21 11:55
哪位大神用esp32做过拾音？https://www.esphome.io/components/voice_assistant

作者: c1pher_小愚 时间: 2024-3-21 12:00

wjh2972406 发表于 2024-3-21 11:50
我的体验是太难受了，换大模型，太卡太延迟了。我的HA还是装在处理器是I7,内存是8G的X86小主机上，而且小 ...

whisper我用的是small那个模型，本地响应很快，基本符合我的需求。
我只留了一个通义千问调用网络api，整体响应在2s上下。
唯一变数是输出语音用：piper/edge的tts（延时+2秒）

作者: a_dongde 时间: 2024-3-21 14:09

25989406 发表于 2024-3-21 12:00
whisper我用的是small那个模型，本地响应很快，基本符合我的需求。
我只留了一个通义千问调用网络api，整 ...

大佬可否开个贴讲述下配置要点？比如拾音怎么解决的？本地识别的容器配置等

作者: c1pher_小愚 时间: 2024-3-21 15:16

a_dongde 发表于 2024-3-21 14:09
大佬可否开个贴讲述下配置要点？比如拾音怎么解决的？本地识别的容器配置等 ...

我现在唤醒这块还有些问题没解决，解决了后面会出一篇不依赖os纯docker的配置方法

欢迎光临『瀚思彼岸』» 智能家居技术论坛 (https://bbs.hassbian.com/)