小爱音箱发送给HA的语音助手实现接入大模型

橙猫猫

实现的功能：
我想通过小爱音箱把语音发送给HA的语音助手，再通过小爱音箱播放大模型返回的内容。这样不仅可以把小爱同学接入大模型，还能控制可以接入HA，但是不能接入米家的设备。(我不想走巴法云等云平台)

目前的做法：
通过自动化控制实现。
采用Xiaomi Miot Auto集成进行设备控制和数据获取
采用Ollama部署本地大模型（今天看到清华的ktransformers框架下次试试看）
采用Extended OpenAI Conversation调用大模型
自动化流程截图和配置文件

自动化流程

自动化Yaml代码.zip (818 Bytes, 下载次数: 1)

5 天前 上传

点击文件名下载附件
自动化Yaml代码

遇到的问题：
1.进行语音对话时，小爱音箱会先使用小米本来的对话，在播放HA语音助手给他发送的对话。
我添加了执行动作，压断它本来的对话，但是因为HA获取到小米传输的数据需要时间，现在的情况就是小爱音箱本来的对话播放到一半被打断，再播放传给它的语音助手的对话。


2.语音助手控制设备的时候需要再进行一次确认，我不知道通过什么方式让语音助手在需要继续对话的时候调起小爱音箱的语音输入
语音助手配置文件.zip (1.86 KB, 下载次数: 1)

5 天前 上传

点击文件名下载附件
语音助手配置文件

希望各位大佬能解决我的问题，并且优化我的控制方案。
如果有更好的办法也请告诉我，谢谢。

hhh.

小爱同学，抢答的问题，暂时没有解决办法。

小爱控制HA设备来讲，直接判断语音内容，然后给HA的助手去执行，这样最简单。

橙猫猫

还有一个问题，它会时不时的重复播放上一次对话的内容，还以为家里闹幽灵娘了

橙猫猫

hhh. 发表于 2025-2-18 12:47
小爱同学，抢答的问题，暂时没有解决办法。

小爱控制HA设备来讲，直接判断语音内容，然后给HA的助手去执行 ...

大佬，能不能用ESP32做一个音箱，通过mqtt把语音传给HA的语音助手？有类似的项目吗？

DDDear

第二个问题用官方的OpenAI Conversation，用https://github.com/Athozs/hass-environment-variable修改环境变量就不会确认了。
或者把Extended OpenAI Conversation的配置里面那行需要确认的提示词删掉试试

hhh.

橙猫猫 发表于 2025-2-18 13:12
大佬，能不能用ESP32做一个音箱，通过mqtt把语音传给HA的语音助手？有类似的项目吗？ ...

有啊，ESPHOME就有，还有使用支持拾音的摄像头作为语音输入设备https://github.com/AlexxIT/StreamAssist

就是需要本地部署STT，把语音转文本。

隔壁的王叔叔

hhh. 发表于 2025-2-18 12:47
小爱同学，抢答的问题，暂时没有解决办法。

小爱控制HA设备来讲，直接判断语音内容，然后给HA的助手去执行 ...

我看小红书上有大佬又刷机了，但是没教程

橙猫猫

隔壁的王叔叔 发表于 2025-2-18 13:40
我看小红书上有大佬又刷机了，但是没教程

他刷机是实现了我想要的功能吗？
能给个链接吗？我去看看

hhh.

隔壁的王叔叔 发表于 2025-2-18 13:40
我看小红书上有大佬又刷机了，但是没教程

https://github.com/idootop/mi-gpt/blob/main/docs/faq.md

橙猫猫

hhh. 发表于 2025-2-18 13:49
https://github.com/idootop/mi-gpt/blob/main/docs/faq.md

我的主要目的不是把音箱接入大模型，主要目的是通过音箱控制那些不能接入米家，但是能接入HA的设备。
如果设置固定的话语来控制又太不智能了，所以就想把它接入ha的语音助手来进行控制设备