本地AI对话代理

duanyudan123

智能家居的 AI 代理 - Home Assistant (home-assistant.io)
根据官方目前的消息Home Assistant 将附带一个内置的 Assist API，但是目前还是仅支持openai和谷歌云端LLM
这是官方对这个API的介绍，并且根据公告26号他们会展示一个与英伟达合作的专用LLM模型，同样是应该是支持API的。
适用于大型语言模型的 Home Assistant API |Home Assistant 开发者文档 (home-assistant.io)
向 LLM 公开 Home Assistant API |Home Assistant 开发者文档 (home-assistant.io)

按照目前的路线图是先将AI的仅聊天功能引入这已实现，接着是支持高级函数LLM模型来调用HA的服务实现控制这也已经实现，这个月将会展示他们和英伟达合作这个本地模型。

根据文章所说的内容LLM可以通过API获取HA的数据进而控制设备。

想一下目前的本地模型都有近万的上下文理解能力，你完全可以用嘴把全部条件和如何行动告诉AI。而不是呆呆的写一些自动化。这在云端LLM已经实现。

想试试云端的也试不了，太麻烦了。首先要过墙，使用openai的api，然后弄卡买币，简直不要太麻烦。

那位小伙伴有openai服务订阅用户可以分享云端LLM配合API的使用感受！
楼下已经有小伙伴测试了谷歌的LLM，未来已经来了咯
测试的小伙伴注意公开实体如果有摄像头千万不要公开，这将把数据提供给云LLM服务商，没人知道这些数据的安全性。

另外苹果近日已经宣布接入GPT，具体的构想可以看看各个博主基于苹果接入GPT的文章，大致理论都是一致的。就像楼下评论的AI的注入将会颠覆HA的逻辑

lichao622

怎么使用还是没搞明白。

duanyudan123

lichao622 发表于 2024-6-11 15:43
怎么使用还是没搞明白。

必须是openai和谷歌ai的订阅用户现在就可以体验到。还需要魔法，因为国内访问不到。然后使用自带的openai或者谷歌ai对话代理集成添加进来公开实体就可以。但是本地的模型需要他们26号的才讲，他们还提到本地LLM不是开箱即用的。应该会比较繁琐。

lichao622

duanyudan123 发表于 2024-6-11 15:51
必须是openai和谷歌ai的订阅用户现在就可以体验到。还需要魔法，因为国内访问不到。然后使用自带的openai ...

本地的话，是不是就得额外买设备了。如果是openai的话，是不是得整个ha都得魔法，这就比较麻烦了。

duanyudan123

lichao622 发表于 2024-6-11 16:08
本地的话，是不是就得额外买设备了。如果是openai的话，是不是得整个ha都得魔法，这就比较麻烦了。 ...

前期应该需要外部算力的设备，后续肯定会有专用小模型。国内使用魔法必不可少

lichao622

duanyudan123 发表于 2024-6-11 16:21
前期应该需要外部算力的设备，后续肯定会有专用小模型。国内使用魔法必不可少 ...

能不能用啥中转的办法，调用openai的api。不用魔法。话说我根据论坛大佬试用了下通义，感觉很傻，哈哈。

duanyudan123

lichao622 发表于 2024-6-11 16:32
能不能用啥中转的办法，调用openai的api。不用魔法。话说我根据论坛大佬试用了下通义，感觉很傻，哈哈。
...

即使能中转到openAI价格也是惊人的。不晓得qwen有没有支持高级函数调用的模型。如果有的话可以配合扩展openai的集成，来实现函数调用服务来实现控制。但是相当麻烦。

zyling

谷歌AI 是那个 gemini 吗？我能用这个，可以接入吗？

duanyudan123

zyling 发表于 2024-6-11 20:47
谷歌AI 是那个 gemini 吗？我能用这个，可以接入吗？

看文档好像就是这个把，你如果有魔法可以试一下呢。直接添加集成搜索google找到Google Generative AI。填写你申请的apikey。更改对话代理就可以了。按照文档所说两者之间走的是api。效果应该会不错。成功了记得分享一下哦

chaosl

本地llm据说树莓派都可以跑，我之前用n100安装了集成，反应非常慢，而且效果也不行。但是官方说可以找一个性能强点的pc安装然后挂api，也可以试试。