Ollama 接入HA集成助手

demacia

前几天试玩了下本地部署大模型的方案：https://bbs.hassbian.com/thread-24618-1-1.html
今天查资料的过程中发现官方README中的三方接入组件看到了https://github.com/ej52/hass-ollama-conversation。

目前还没加入hacs，需要按照文档通过hacs->集成->自定义存储库安装。

默认的prompt是看起来似乎是用template把所有HA的实体的信息提供给大模型，可以让大模型回答设备状态之类的，但是目前还不支持和HA的默认助手一样能操作HA。

因为目前这个助手感觉还不完善，所以将他默认的prompt改成最普通的“你是一个中文助手”，让HA充当本地大模型的UI入口。此帖仅抛个砖，论坛大佬有机会分享分享高级的玩法。

HA LLM

ryanh7

目前的问题是GTX1060也很慢，7B模型也不按照要求的格式输出，操作ha倒问题不大，改改插件就好了

demacia

ryanh7 发表于 2024-3-28 20:37
目前的问题是GTX1060也很慢，7B模型也不按照要求的格式输出，操作ha倒问题不大，改改插件就好了
...

3070速度还可以 ，你说的操作ha是指什么

ryanh7

demacia 发表于 2024-3-28 20:48
3070速度还可以 ，你说的操作ha是指什么

“HA的默认助手一样能操作HA”

demacia

ryanh7 发表于 2024-3-28 20:54
“HA的默认助手一样能操作HA”

是什么提示词吗？组件默认的提示词就可以吗？

ryanh7

demacia 发表于 2024-3-28 21:19
是什么提示词吗？组件默认的提示词就可以吗？

提示词配合插件，插件对ai响应内容提取执行信息就可以实现了。没太看插件源码不知道实现这个逻辑了没有，没写也问题不大，可以自己定制。