找回密码
 立即注册
查看: 1202|回复: 13

[求助] 小爱音箱发送给HA的语音助手实现接入大模型

[复制链接]

1

主题

4

回帖

37

积分

新手上路

积分
37
金钱
32
HASS币
0
发表于 2025-2-18 12:32:21 | 显示全部楼层 |阅读模式
本帖最后由 橙猫猫 于 2025-2-18 12:33 编辑

实现的功能:
我想通过小爱音箱把语音发送给HA的语音助手,再通过小爱音箱播放大模型返回的内容。这样不仅可以把小爱同学接入大模型,还能控制可以接入HA,但是不能接入米家的设备。(我不想走巴法云等云平台)

目前的做法:
通过自动化控制实现。
采用Xiaomi Miot Auto集成进行设备控制和数据获取
采用Ollama部署本地大模型(今天看到清华的ktransformers框架下次试试看
采用Extended OpenAI Conversation调用大模型
自动化流程截图和配置文件

自动化流程

自动化流程
自动化Yaml代码.zip (818 Bytes, 下载次数: 7)

遇到的问题:
1.进行语音对话时,小爱音箱会先使用小米本来的对话,在播放HA语音助手给他发送的对话。
我添加了执行动作,压断它本来的对话,但是因为HA获取到小米传输的数据需要时间,现在的情况就是小爱音箱本来的对话播放到一半被打断,再播放传给它的语音助手的对话。


2.语音助手控制设备的时候需要再进行一次确认,我不知道通过什么方式让语音助手在需要继续对话的时候调起小爱音箱的语音输入
语音助手配置文件.zip (1.86 KB, 下载次数: 10)

希望各位大佬能解决我的问题,并且优化我的控制方案。
如果有更好的办法也请告诉我,谢谢。

回复

使用道具 举报

hhh. 手机认证

9

主题

292

回帖

2736

积分

论坛UI达人

积分
2736
金钱
2435
HASS币
0
发表于 2025-2-18 12:47:47 | 显示全部楼层
小爱同学,抢答的问题,暂时没有解决办法。

小爱控制HA设备来讲,直接判断语音内容,然后给HA的助手去执行,这样最简单。
回复

使用道具 举报

1

主题

4

回帖

37

积分

新手上路

积分
37
金钱
32
HASS币
0
 楼主| 发表于 2025-2-18 13:07:14 | 显示全部楼层
还有一个问题,它会时不时的重复播放上一次对话的内容,还以为家里闹幽灵娘了
回复

使用道具 举报

1

主题

4

回帖

37

积分

新手上路

积分
37
金钱
32
HASS币
0
 楼主| 发表于 2025-2-18 13:12:33 | 显示全部楼层
hhh. 发表于 2025-2-18 12:47
小爱同学,抢答的问题,暂时没有解决办法。

小爱控制HA设备来讲,直接判断语音内容,然后给HA的助手去执行 ...

大佬,能不能用ESP32做一个音箱,通过mqtt把语音传给HA的语音助手?有类似的项目吗?
回复

使用道具 举报

13

主题

657

回帖

3491

积分

论坛元老

HomeAssistant

积分
3491
金钱
2816
HASS币
20
发表于 2025-2-18 13:15:36 | 显示全部楼层
第二个问题用官方的OpenAI Conversation,用https://github.com/Athozs/hass-environment-variable修改环境变量就不会确认了。
或者把Extended OpenAI Conversation的配置里面那行需要确认的提示词删掉试试
回复

使用道具 举报

hhh. 手机认证

9

主题

292

回帖

2736

积分

论坛UI达人

积分
2736
金钱
2435
HASS币
0
发表于 2025-2-18 13:18:16 | 显示全部楼层
橙猫猫 发表于 2025-2-18 13:12
大佬,能不能用ESP32做一个音箱,通过mqtt把语音传给HA的语音助手?有类似的项目吗? ...

有啊,ESPHOME就有,还有使用支持拾音的摄像头作为语音输入设备https://github.com/AlexxIT/StreamAssist

就是需要本地部署STT,把语音转文本。
回复

使用道具 举报

14

主题

1526

回帖

4958

积分

论坛元老

积分
4958
金钱
3418
HASS币
0
发表于 2025-2-18 13:40:35 | 显示全部楼层
hhh. 发表于 2025-2-18 12:47
小爱同学,抢答的问题,暂时没有解决办法。

小爱控制HA设备来讲,直接判断语音内容,然后给HA的助手去执行 ...

我看小红书上有大佬又刷机了,但是没教程
回复

使用道具 举报

1

主题

4

回帖

37

积分

新手上路

积分
37
金钱
32
HASS币
0
 楼主| 发表于 2025-2-18 13:43:30 | 显示全部楼层
隔壁的王叔叔 发表于 2025-2-18 13:40
我看小红书上有大佬又刷机了,但是没教程

他刷机是实现了我想要的功能吗?
能给个链接吗?我去看看
回复

使用道具 举报

hhh. 手机认证

9

主题

292

回帖

2736

积分

论坛UI达人

积分
2736
金钱
2435
HASS币
0
发表于 2025-2-18 13:49:35 | 显示全部楼层
回复

使用道具 举报

1

主题

4

回帖

37

积分

新手上路

积分
37
金钱
32
HASS币
0
 楼主| 发表于 2025-2-18 13:58:59 | 显示全部楼层
hhh. 发表于 2025-2-18 13:49
https://github.com/idootop/mi-gpt/blob/main/docs/faq.md

我的主要目的不是把音箱接入大模型,主要目的是通过音箱控制那些不能接入米家,但是能接入HA的设备。
如果设置固定的话语来控制又太不智能了,所以就想把它接入ha的语音助手来进行控制设备
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|Hassbian

GMT+8, 2025-5-1 09:23 , Processed in 0.349724 second(s), 26 queries .

Powered by Discuz! X3.5

© 2001-2025 Discuz! Team.

快速回复 返回顶部 返回列表