快速响应的HA语音助手

duanyudan123

使用开箱即用的ESP32-S3触摸屏硬件，基于esphome-lvgl构建的快速响应语音助手。
摆脱大模型的工具调用的迟滞感，采用内置意图和句子触发+调用不带控制的LLM响应结果。这只是一个案例你可以在自动化中将LLM的格式化响应数据应用到任何地方。例如当你在打开多个区域的灯光时，由于没有内置意图，使用单一句子也不能动态调整区域，只能使用LLM的工具。这时候你可以将句子的{area}部分交给LLM优化成area_id在自动化调用优化后area_id。例如返回：[ ke_ting,wo_shi,chu_fang]。那么将会直接打开这些区域的灯光，工具调用不参与其中。整个过程1s内完成。
我认为这不比现在商用语音助手差。
但是也有问题点就是整个对话的响应内容不能自由化，例如LLM出现幻觉导致响应了错误的结果给到自动化，还没有找到对整个自动化其中一部分（就是LLM返回错误数据）执行错误的回复。期待有人能解决。
【快速响应的Home Assistant语音助手-哔哩哔哩】 https://b23.tv/wyqKoTr

demon3434

哪里有卖？

duanyudan123

demon3434 发表于 2025-2-26 00:49
哪里有卖？

触摸屏硬件tb就有搜索esp32圆形触摸屏，任何基于esphome的语音助手都可以。

bugensui

整个设备一共多少钱，效果感觉确实快点，另外跟官方硬件的思路是不是都一样，这个tts和stt都是ha在弄，这个硬件就是多个屏幕显示，响应快点，无非这个硬件，基本上走的是内置命令对吧，

duanyudan123

bugensui 发表于 2025-2-26 11:50
整个设备一共多少钱，效果感觉确实快点，另外跟官方硬件的思路是不是都一样，这个tts和stt都是ha在弄，这个 ...

不在于硬件哦，VPE也可以这么快，只是放弃了使用llm调用工具。使用内置意图，加句子触发，加llm句子优化。毫秒级响应。

bugensui

duanyudan123 发表于 2025-2-26 12:06
不在于硬件哦，VPE也可以这么快，只是放弃了使用llm调用工具。使用内置意图，加句子触发，加llm句子优化 ...

毫秒有点难，stt语音识别成文本，需要时间，tts语音播报也需要时间，即使ha的内置意图只需要0.1秒完成，这2个服务也会浪费一点时间。

duanyudan123

bugensui 发表于 2025-2-26 12:18
毫秒有点难，stt语音识别成文本，需要时间，tts语音播报也需要时间，即使ha的内置意图只需要0.1秒完成， ...

是的呢，只能说相对比较快。对LLM的性能需求降低。因为工具调用要在上下文查找信息，填写参数浪费了大量时间。放弃工具调用只需要LLM响应固定的参数，速度非常快。例如提示LLM是一个空调管理例程，他只能回复20，30这种温度格式，基本秒级响应。即使stt识别成30度或者三十度。LLM只会回复数字温度。

duanyudan123

秒级响应

bugensui

duanyudan123 发表于 2025-2-26 12:28
秒级响应

效果可以的，我家里用的是ha的官方硬件，我现在的解决方案是2个，1，常用的命令，比较固定的命令，全部走ha内置的意图或者自定义意图和自动化，基本上秒处理，比如：打开卧室灯，关闭书房灯，播放某某歌曲等，2. 不固定的命令，宽泛的命令，全部丢给ai，慢就慢点，反正基本上5-6秒都会处理好。比如：昨天用了多少电费，明天出门要不要带伞等
懒得折腾了，这种很难处理的非常完美，凑合着用，全部用llm，那就太慢了。体验糟糕

coolguy

大佬，求教程