『瀚思彼岸』» 智能家居技术论坛

标题: Ollama+Qwen2.5:7B工具调用，控制HA快、稳、准！ [打印本页]

作者: duanyudan123 时间: 2024-9-22 17:19
标题: Ollama+Qwen2.5:7B工具调用，控制HA快、稳、准！
本帖最后由 duanyudan123 于 2024-9-25 16:48 编辑

AI模型控制HA评估

简单测了一下很强！比我测试的所有LLM工具调用都强！
稍后上传详细测试！-
【Ollama+Qwen2.5:7B工具调用控制Home assistant-哔哩哔哩】 https://b23.tv/c8olYTT
详细内容参见视频，总体来说还是可以的满分100可以打90，显卡是RTX3060，AI算力基本可以说是中低。如果是4090推理速度会更快。另外TTS也拖后腿了。edge的TTS在云端肯定有延迟，即使我说的名字是错误的谐音或者缺字LLM依然会推理出你想要控制的设备。另外就是他不会说我不能理解，你可以问它任何问题。工具的调用可以说是为大模型的应用锦上添花。

另外温馨提示HA官方的语音助手硬件马上就要开售了，偷偷告诉你们很强。比现在HA的所有语音硬件方案都强，不管是解码能力和拾音能力都很强。可以和市面的商用产品媲美。-----------------------------------------------------------------------
2024/9/23
太强了吧，我都惊呆了！，甚至可以检索播放列表，播放指定的音乐。如果说“播放音乐”它会主动问你要听什么歌曲。至于暂停/下一曲/上一曲这些都是小菜。
HA官方的语音硬件好像支持音频闪避（根据配置文件猜测），如果大家干主播应该都知道音频闪避这个概念。就是讲话的时候音乐不暂停而是降低音量，具体也不太了解。如果是真的这也太专业了吧。加上专业解码芯片，全屋音乐的方案成本一下子拉到地面了。

作者: wdmywm3 时间: 2024-9-22 18:33

esphome里有一个项目，是用乐鑫的esp32box3实现智能音箱
就是价格不便宜要299，我买了一个别人diy的，代替硬件略有不同，但是修改固件刷进去一直有问题，这方面资料太少又找不到，就暂时搁置了
如果过段时间能解决问题，再加上千问2.5这个tools的话，说不定可以彻底代替小爱了

作者: lichao622 时间: 2024-9-22 20:02
期待。一直想用大模型。

作者: lichao622 时间: 2024-9-22 22:28
HA官方的语音助手硬件。这个好啊，马上能替代小爱同学啦。。。

作者: whxciotw 时间: 2024-9-23 07:54
HA官方的语音助手硬件的介绍，在哪里能看到，有链接吗？官网没留意到。谢谢

作者: whxciotw 时间: 2024-9-23 07:54

wdmywm3 发表于 2024-9-22 18:33
esphome里有一个项目，是用乐鑫的esp32box3实现智能音箱
就是价格不便宜要299，我买了一个别人diy的， ...

请问，diy的音箱，有链接吗，或者介绍？

作者: lichao622 时间: 2024-9-23 09:27

whxciotw 发表于 2024-9-23 07:54
HA官方的语音助手硬件的介绍，在哪里能看到，有链接吗？官网没留意到。谢谢 ...

我也没看到哪里有。

作者: duanyudan123 时间: 2024-9-23 10:11

whxciotw 发表于 2024-9-23 07:54
HA官方的语音助手硬件的介绍，在哪里能看到，有链接吗？官网没留意到。谢谢 ...

esphome的对应组件

XMOS的固件
HA的官方人员回复

作者: bugensui 时间: 2024-9-23 10:50
请教楼主1个问题，大部分跑ha的设备，都是一些盒子，nas，基本上都不带独立显卡，楼主平时跑ha的设备都带独立显卡吗，那不是很费电吗

作者: duanyudan123 时间: 2024-9-23 11:00

bugensui 发表于 2024-9-23 10:50
请教楼主1个问题，大部分跑ha的设备，都是一些盒子，nas，基本上都不带独立显卡，楼主平时跑ha的设备都带独 ...

费电倒是其次，因为大部分时间显卡都没有工作只有使用语音的是才会工作，一天工作不到30分钟。不使用的时候显卡大概6-9w功率。主要是显卡太贵了。3060我都是咬牙买的。

作者: 郑小贤 时间: 2024-9-23 11:06

bugensui 发表于 2024-9-23 10:50
请教楼主1个问题，大部分跑ha的设备，都是一些盒子，nas，基本上都不带独立显卡，楼主平时跑ha的设备都带独 ...

大模型来了盒子都得废。上x86主机 yyds

作者: duanyudan123 时间: 2024-9-23 11:06

bugensui 发表于 2024-9-23 10:50
请教楼主1个问题，大部分跑ha的设备，都是一些盒子，nas，基本上都不带独立显卡，楼主平时跑ha的设备都带独 ...

HA工作在价值6000的电脑上，我自己都觉得很疯狂。远离英伟达

作者: qjrxsoft 时间: 2024-9-23 11:18
用显卡来跑这个有点奢侈了吧，反正是舍不得的啊。

作者: bugensui 时间: 2024-9-23 11:26

郑小贤发表于 2024-9-23 11:06
大模型来了盒子都得废。上x86主机 yyds

我的是x86的nas，cpu是j4125.但是不带独立显卡的，带显卡的nas会很贵。

作者: duanyudan123 时间: 2024-9-23 11:26

qjrxsoft 发表于 2024-9-23 11:18
用显卡来跑这个有点奢侈了吧，反正是舍不得的啊。

那个公司吧英伟达拉下马，惠及大众

作者: bugensui 时间: 2024-9-23 11:27

duanyudan123 发表于 2024-9-23 11:06
HA工作在价值6000的电脑上，我自己都觉得很疯狂。远离英伟达

你跑在自己组的x86设备上，直接买品牌的，肯定贵的要死，好点的显卡，都5000-6000

作者: lichao622 时间: 2024-9-23 15:47
不知道到时候这个大模型能不能跑mac上。哈哈

作者: lichao622 时间: 2024-9-23 15:52

duanyudan123 发表于 2024-9-23 10:11
esphome的对应组件

XMOS的固件

我看好像已经开始预售了？

作者: c1pher_小愚 时间: 2024-9-23 17:16
qwen2.5 出了啊，试试去 qwen2用下来的感觉是很弱

作者: duanyudan123 时间: 2024-9-23 18:36

lichao622 发表于 2024-9-23 15:52
我看好像已经开始预售了？

那个是第三方的在预售。respeaker的已经在卖了。nabu社团的在调试软件。

作者: duanyudan123 时间: 2024-9-23 18:39

25989406 发表于 2024-9-23 17:16
qwen2.5 出了啊，试试去 qwen2用下来的感觉是很弱

有给力显卡，很强。一个设备只要任意操作成功后，后续对话不用告诉他名字。直接说操作就行。基本不会匹配错意图。

作者: yikliu 时间: 2024-9-23 21:02
感觉这个模型对于nas来说好像还是有点臃肿了。。。太吃配置，不过确实是个好消息

作者: duanyudan123 时间: 2024-9-23 22:46

yikliu 发表于 2024-9-23 21:02
感觉这个模型对于nas来说好像还是有点臃肿了。。。太吃配置，不过确实是个好消息 ...

根据我测试下来看，是时候增加显卡了。因为真的很强。体验感爆表。也许大家的硬件都该升级了呢。

作者: lichao622 时间: 2024-9-24 09:35

duanyudan123 发表于 2024-9-23 22:46
根据我测试下来看，是时候增加显卡了。因为真的很强。体验感爆表。也许大家的硬件都该升级了呢。 ...

ha安装在群晖nas里面，只是本地大模型会比较耗硬件资源吧，ha本身还好吧

作者: yikliu 时间: 2024-9-25 15:32

duanyudan123 发表于 2024-9-23 22:46
根据我测试下来看，是时候增加显卡了。因为真的很强。体验感爆表。也许大家的硬件都该升级了呢。 ...

可以细说强的地方吗？

作者: duanyudan123 时间: 2024-9-25 16:25
本帖最后由 duanyudan123 于 2024-9-25 16:30 编辑

yikliu 发表于 2024-9-25 15:32
可以细说强的地方吗？

日常对话就不说了哈，比如对好几个设备进行操作。你可以跟他说瞌睡了、太亮了、太热了、我要出去了、我回来。它会对你进行提问需要操作那些设备以及设备的功能。你只需回复好的。听歌的时候你说这首歌不好听他会帮你跳过。对一个设备进行操作后，后续直接说就可了。不用每次都说设备名字。比如说错设备名字了，有时候他会帮你纠正直接进行操作。但是名字不能差太多。比如张三跟狗二就差别太大了

。而且速度也快。之前测试的一些国外模型，不单听不懂你说的啥，还反应慢的要死。AI模型对HA控制评估

作者: zyling 时间: 2024-9-27 21:06
搞个几千块显卡跑HA，用不起，家里主力电脑都没这待遇

我还是继续坚持用我的N1

作者: duanyudan123 时间: 2024-9-27 22:10

zyling 发表于 2024-9-27 21:06
搞个几千块显卡跑HA，用不起，家里主力电脑都没这待遇
我还是继续坚持用我的N1 ...

嘿嘿，确实有点不划算。技术在进步。我们耐心灯带就好呢

作者: Zeller 时间: 2024-11-19 04:51
羊驼我搭建好了，目前我主要用来协助写程序。请教怎么接入ha

作者: duanyudan123 时间: 2024-11-19 08:50

Zeller 发表于 2024-11-19 04:51
羊驼我搭建好了，目前我主要用来协助写程序。请教怎么接入ha

添加设备直接搜ollama填地址提交然后勾选助手控制。选择千问模型就可以了。很方便。

欢迎光临『瀚思彼岸』» 智能家居技术论坛 (https://bbs.hassbian.com/)