本地AI对话代理

grunner

即使网络搞定，也只能是敲文字聊天吧？语音对话是否还要解决麦克风和扬声器等的硬件问题？

lichao622

我还是想着说能不能调用的api走魔法，ha不走魔法

bugensui

grunner 发表于 2024-6-11 23:29
即使网络搞定，也只能是敲文字聊天吧？语音对话是否还要解决麦克风和扬声器等的硬件问题？ ...

最简单的方式，ha官方出一个小音响，基于esp，平时还可以放音乐，音响可以运行本地大模型

duanyudan123

chaosl 发表于 2024-6-11 23:10
本地llm据说树莓派都可以跑，我之前用n100安装了集成，反应非常慢，而且效果也不行。但是官方说可以找一个 ...

是的我装了一个3060的推理服务器。速度很快。但是目前没有匹配的模型，有些模型支持函数，但是效果都不太好。等等官方这个模型看看把。官方这个模型是完全重构的专用模型

duanyudan123

grunner 发表于 2024-6-11 23:29
即使网络搞定，也只能是敲文字聊天吧？语音对话是否还要解决麦克风和扬声器等的硬件问题？ ...

纯本地的是不需要魔法的。不用敲键盘。目前已经可以使用本地语音唤醒、语音转写、转写语音。硬件也已经准准备好了。就差对话代理了。在外部推理服务器的作用下这些功能目前使用使用是没有问题的。就是这个对话代理不太行。所以需要等等

duanyudan123

bugensui 发表于 2024-6-12 11:22
最简单的方式，ha官方出一个小音响，基于esp，平时还可以放音乐，音响可以运行本地大模型 ...

小音箱已经有国外的公司在做了，不确定什么时候推出。在音响上跑模型肯定不行的会把音响烧掉的。

bugensui

duanyudan123 发表于 2024-6-12 11:43
小音箱已经有国外的公司在做了，不确定什么时候推出。在音响上跑模型肯定不行的会把音响烧掉的。 ...

homepod mini是怎么实现的呢？难道是依靠的苹果手机吗？

duanyudan123

bugensui 发表于 2024-6-12 12:09
homepod mini是怎么实现的呢？难道是依靠的苹果手机吗？

目前的各个厂家的都是在云端完成。也就是音响只负责将音频流打包发送，或者将音频流解码。

bugensui

duanyudan123 发表于 2024-6-12 12:13
目前的各个厂家的都是在云端完成。也就是音响只负责将音频流打包发送，或者将音频流解码。 ...

那不知道，大模型交给ha系统行不行，系统里直接集成大模型，音响负责收声和发声

cuichuanyu

我用google generative ai，跑通了，因为google的api有免费额度，而Openai的没有。目前来看效果还算可以，可以控制灯光的开关，但指令一定要准确，要带区域+灯光才可以，从图中的对话也能看出来，模型不具备上下文推理功能，应该是还没有添加。