来一起用openai手搓siri吧【代码已贴】

c1pher_小愚

最近升级ha看了官方的新版本介绍后 瞬间来了兴趣，Year of the Voice - Chapter 4: Wake wordshttps://www.home-assistant.io/blog/2023/10/12/year-of-the-voice-chapter-4-wakewords/
看到了手搓siri的可能——自定义唤醒词，然后再用一个普通的麦克风，结合openai，一个更智能版本的siri不就出来了吗？赶紧淘宝下单了两个atom
来论坛翻了一下目前大家都是用node做的

https://bbs.hassbian.com/thread-22418-1-1.html
但node这个我就不太喜欢了，因为俺没有node，为啥不能直接在ha里搞定呢？既然是大模型那，那他说什么返回什么应该也可以按照我的设计来吧？没有必要中间再加一道中转吧。

所以就先搜了一下，主要有两个项目可以通过openai直接控制ha
https://github.com/alanjames1987/OpenAI-Control-HA
https://github.com/jekalmin/extended_openai_conversation

但实际运行起来都不是太舒服，第一个只支持灯，作者后面也没有更新了。第二个太复杂，感觉很多东西没啥用。
所以我自己在OpenAI-Control-HA 的基础上做了一些简单调整，终于跑通了，逻辑跟五年前搞天猫精灵差不多，甚至还更简单

有一点遗憾的是我的atom唤醒词跑不起来，因为我不是os，docker部署的只能强行的用docker去跑homeassistant/amd64-addon-openwakeword:latest

但是就是运行不起来，有谁能跑起来的可以给我说一下～

没有语音唤醒，但是可以用按钮触发，先假装可以唤醒吧，哈哈哈，至少语音控制本身是没有啥问题了，除了tts stt都走了云端有点慢，再加上openai自身也是有些延时。
以下内容回帖可见

游客，如果您要查看本帖隐藏内容请回复

下面是openai的演示视频：建议手机观看，电脑看的时候声音听起来很奇怪


下面是国产通义千问的演示视频：

xinyang128

来一起用openai手搓siri吧

I1dLa3Y2

刚到了个 echo 来学习下（

ghostist

挺好 除了反应太慢，确实希望有轻量版的AI能离线部署，TTS STT做的好一点，语义能理解控制设备就够了，联网可以问些刁钻问题
每个房间部署一个mic，感觉可以格了各种智障音箱的命（到时候估计就会有这种版本的音箱卖了）
大佬....东北的？

c1pher_小愚

ghostist 发表于 2023-12-2 21:31
挺好 除了反应太慢，确实希望有轻量版的AI能离线部署，TTS STT做的好一点，语义能理解控制设备就够了，联网 ...

再也不仅仅是电影情节了 有生之年应该能做得到 哈哈哈

东北的

ghostist

25989406 发表于 2023-12-2 21:49
再也不仅仅是电影情节了 有生之年应该能做得到 哈哈哈

沈阳的

不求像贾维斯自己手搓代码执行
能挫个自动化就满足了
比如临时性的xx小时后关灯
或者模糊性的：自动控制房间空调到舒适温度（体感温度根据传感器、湿度、外部温度、后续反馈等，自己调节模式、温度、风速）

c1pher_小愚

ghostist 发表于 2023-12-2 22:05
不求像贾维斯自己手搓代码执行
能挫个自动化就满足了
比如临时性的xx小时后关灯

做自动化有点复杂，https://github.com/jekalmin/extended_openai_conversation 但我看这哥们代码是应该已经实现了，我只是觉得没啥必要。
第二个，我觉得是大模型接ha时重点要做的，让他基于自己的理解主动帮我们操作一些事情，第一阶段前面我们把家里的数据喂给它，然后他能单独控制某个设备。第二阶段我理解就主要是从引导词上教育大模型应该就能做到了，甚至不用我们写代码

mrlaogui

延迟、延迟、延迟，各种延迟叠加，这个太磨人了

81795791

我为啥识别出来的繁体.,,,,

zerock

学习一下