『瀚思彼岸』» 智能家居技术论坛

标题: 把小爱同学接入大模型，并用来控制HA中的设备 [打印本页]

作者: wingbow 时间: 2024-12-30 08:04
标题: 把小爱同学接入大模型，并用来控制HA中的设备
先看一下效果：https://www.bilibili.com/video/BV1NG6hYqEzP/，

支持的功能：
1.读取HA中实体状态。
2.控制HA中的实体。
3.生成HA的自动化脚本。
4.联网查询信息。

原理：
1.通过小米的MiNAService轮询获取音箱的对话记录，根据关键词（目前是“请”）进入智能模式，进入后通过发送静音字符或静音MP3使用小爱静音。
2.调大模型解析对话，通过分类器-执行器-结果判断等多个智能体协同，调用HA的API来查询数据、执行动作或生成HA自动化脚本。

缺点：1.小爱音箱的抢答很难避免。2.多智能体协同虽然中间加了语音来过渡，但还是响应比较慢。3.小爱的语音识别时长限制导致有些话没说完，就截断了，导致生成自动化脚本时容易失败。

代码在：https://github.com/smile-wingbow/MihaGPT

作者: wingbow 时间: 2024-12-30 08:06
步骤：
Python 3.9
先git clone https://github.com/smile-wingbow/MihaGPT 以下命令都在MihaGPT路径下执行

一.创建虚拟环境并激活：
python3.9 -m venv mihagpt-venv
source mihagpt-venv/bin/activate
二.pip安装python相关库：
pip install -r requirements.txt
三.安装浏览器（以armbian为例）
sudo apt-get update
sudo apt-get install firefox-esr
wget https://github.com/mozilla/gecko ... inux-aarch64.tar.gz
tar -xvzf geckodriver-v0.35.0-linux-aarch64.tar.gz
sudo mv geckodriver /usr/local/bin/
四.配置参数：
1.修改metaGPT的LLM配置，配置config目录的config2.yaml、gpt4o.yaml、gpt4omini.yaml配置，代码中主要用到了gpt4o和gpt4omini两种模型，分别用于不同的智能体。
2.修改miha_config.yaml，
五.启动服务：
使用以下命令启动
python3.9 mihagpt.py --config miha_config.yaml

作者: [email protected] 时间: 2024-12-30 08:23

大佬V5

作者: warmsake 时间: 2024-12-30 10:24
牛啊牛啊，期待更加完善

欢迎光临『瀚思彼岸』» 智能家居技术论坛 (https://bbs.hassbian.com/)