『瀚思彼岸』» 智能家居技术论坛

标题: HomeAssistant语音唤醒硬件开箱演示，ESP32-S3-BOX-3B [打印本页]

作者: c1pher_小愚 时间: 2024-7-3 01:37
标题: HomeAssistant语音唤醒硬件开箱演示，ESP32-S3-BOX-3B
本帖最后由 25989406 于 2024-7-3 01:42 编辑

Voice Chapter 7
Homeassistant官方六月版本正式支持了LLM大语言模型的tools调用，而且具体的工具类已经内置，不再需要靠自己写prompt，然后再费劲的解析翻译json返回了。也就是说只要你的大模型api支持tools，无论还是本地还是云端，都能自由的把你的家托管啦~

再结合第七章的这个ESP32-S3-BOX-3B本地语音唤醒能力(从硬件上他应该也可以支持本地stt)，还有触摸屏，未来可期！
[attach]61137[/attach]
第一时间买回来尝鲜！开箱演示分享：

作者: lyf86822 时间: 2024-7-3 03:23
强大，等大佬给个示例

作者: jey0722 时间: 2024-7-3 07:50
平替小爱吗？

作者: a_dongde 时间: 2024-7-3 08:48
这个价格要是降到100多我是能接受的···

作者: duanyudan123 时间: 2024-7-3 10:03
micro-wake-word一直不支持非英语，让中文用户怎么办

作者: bugensui 时间: 2024-7-3 11:57
感觉还不是很成熟

作者: yjl 时间: 2024-7-3 14:10
之前一直在B站看大佬的视频，终于在坛子上活捉大佬了

作者: c1pher_小愚 时间: 2024-7-3 14:33

bugensui 发表于 2024-7-3 11:57
感觉还不是很成熟

一个是这个硬件支持本地stt
另外这个屏幕还是触屏的，可以作为一个小的控制台
想象空间是有的。

作者: c1pher_小愚 时间: 2024-7-3 14:37

duanyudan123 发表于 2024-7-3 10:03
micro-wake-word一直不支持非英语，让中文用户怎么办

Siri都能忍着就不行了么

作者: bugensui 时间: 2024-7-3 14:55

25989406 发表于 2024-7-3 14:33
一个是这个硬件支持本地stt
另外这个屏幕还是触屏的，可以作为一个小的控制台
想象空间是有的。 ...

大佬，那个小的，有什么功能，国内哪里能买到，求关键词，我想了解下

作者: c1pher_小愚 时间: 2024-7-3 16:22

bugensui 发表于 2024-7-3 14:55
大佬，那个小的，有什么功能，国内哪里能买到，求关键词，我想了解下

小的是这个：M5Stack ATOM Echo可编程智能音箱，演示你去b站翻一下我的视频，可以基于openwakeword和whisper 实现语音唤醒和语音转文字，然后调用大模型交互，他自身没有识别能力就是个联网的麦克风+喇叭
淘宝链接：
https://item.taobao.com/item.htm ... &_u=3k9k9k62553

作者: bugensui 时间: 2024-7-3 16:29

25989406 发表于 2024-7-3 16:22
小的是这个：M5Stack ATOM Echo可编程智能音箱，演示你去b站翻一下我的视频，可以基于openwakeword和whis ...

好的，谢谢大佬，我晚上学习下，

作者: tanbobo 时间: 2024-7-3 20:53

duanyudan123 发表于 2024-7-3 10:03
micro-wake-word一直不支持非英语，让中文用户怎么办

好好学习天天背单词

作者: lujiashun1 时间: 2024-7-4 17:26
太贵了

作者: lichao622 时间: 2024-7-7 10:43
感觉再优化优化，如果能调用本地部署的模型，那这个玩意秒杀小爱啥的啊

作者: c1pher_小愚 时间: 2024-7-8 11:23

lichao622 发表于 2024-7-7 10:43
感觉再优化优化，如果能调用本地部署的模型，那这个玩意秒杀小爱啥的啊

我是这么想的，本地只要提供openai的兼容api就可以替换

作者: lichao622 时间: 2024-7-8 11:53

25989406 发表于 2024-7-8 11:23
我是这么想的，本地只要提供openai的兼容api就可以替换

看到了这个文档 https://www.home-assistant.io/integrations/ollama/#options。说的是目前本读只支持查询设备状态，还不能控制。

作者: cuichuanyu 时间: 2024-7-8 15:45
大佬牛啊，已关注了大佬的B站

作者: c1pher_小愚 时间: 2024-7-8 17:40

lichao622 发表于 2024-7-8 11:53
看到了这个文档 https://www.home-assistant.io/integrations/ollama/#options。说的是目前本读只支持查 ...

openai插件一开始也不支持大模型的tools工具类，后来才有的。

作者: c1pher_小愚 时间: 2024-7-8 17:42

yjl 发表于 2024-7-3 14:10
之前一直在B站看大佬的视频，终于在坛子上活捉大佬了

作者: lichao622 时间: 2024-7-8 22:55

25989406 发表于 2024-7-8 17:40
openai插件一开始也不支持大模型的tools工具类，后来才有的。

真希望能赶快支持本地的大模型，等那个时候，搞一台这个玩玩

作者: lichao622 时间: 2024-7-8 23:00

25989406 发表于 2024-7-8 17:40
openai插件一开始也不支持大模型的tools工具类，后来才有的。

看到有这么一句：Local LLMs have been supported via the Ollama integration since Home Assistant 2024.4. Ollama and the major open source LLM models are not tuned for tool calling, so this has to be built from scratch and was not done in time for this release. We’re collaborating with NVIDIA to get this working – they showed a prototype last week.
看来希望在望啊！！

作者: itispip 时间: 2024-7-8 23:22
买了AtomEcho，退了。不使用。喇叭声音小得听不见，麦克风拾音范围小得走不开，不能打断对话，不能连续对话。。。。

还是用免费的StreamAssit更香

作者: c1pher_小愚 时间: 2024-7-9 14:53

lichao622 发表于 2024-7-8 23:00
看到有这么一句：Local LLMs have been supported via the Ollama integration since Home Assistant 202 ...

嗯一定会有的

作者: c1pher_小愚 时间: 2024-7-9 15:10

itispip 发表于 2024-7-8 23:22
买了AtomEcho，退了。不使用。喇叭声音小得听不见，麦克风拾音范围小得走不开，不能打断对话，不能连续对话 ...

目前这个状态，都是玩具，距离完美还挺远

作者: lichao622 时间: 2024-7-9 20:44

itispip 发表于 2024-7-8 23:22
买了AtomEcho，退了。不使用。喇叭声音小得听不见，麦克风拾音范围小得走不开，不能打断对话，不能连续对话 ...

这是哪个项目指导下。谢谢

作者: itispip 时间: 2024-7-13 00:14

lichao622 发表于 2024-7-9 20:44
这是哪个项目指导下。谢谢

这个项目：
https://github.com/AlexxIT/StreamAssist

作者: aning19951103 时间: 2025-2-18 16:30
大佬这个音箱的声音怎么样够大吗？

欢迎光临『瀚思彼岸』» 智能家居技术论坛 (https://bbs.hassbian.com/)