AI智能管家

straylamb760704

本人有个想法，搭建一个本地AI，这样隐私可以控制，根据家人的生活习性，管理家里各种事务提醒，并可以管理各种电子设备。

keshiyong

想法很好，怎么实现

duanyudan123

没有开箱即用的，需要各种设备和一些专用知识。多看看论坛ai相关的帖子。再考虑实施。

ghostist

上一个有相似想法并实现了的人叫钢铁侠

lichao622

关键是硬件啊，能跑得起来啊。。。

straylamb760704

硬件不是问题现在12代cpu套装只要1000多点，加个显卡最多3000多，如果有这个高上大阿

lichao622

straylamb760704 发表于 2024-11-14 11:27
硬件不是问题现在12代cpu套装只要1000多点，加个显卡最多3000多，如果有这个高上大阿

...

不知道跑得起来吗，本地模型qwen7b那个硬件要求都很高。完觉得能达到好用的话，怎么着也得70b吧。哈哈。chatgpt好用。意图理解最准。但是，网络环境啊。。。。。

gasment

跑本地大模型，需要多少算力，需要跑什么训练喂什么数据，自己会不会调试，如何接入其他程序等等，当然你是豪的话可以鬼推磨，但是3000的显卡就很难崩

lichao622

其实我觉得gpt-4o能达到我现在的要求，但是需要魔法，一直没有搞清楚到底怎么才能只魔法gpt，而不要整个ha都魔法。整个ha都魔法的话，外网访问总出一些问题。。。

lovelyelfpop

我们公司 4060 8G显存的显卡，试过各种8G以内的模型，不咋地，速度很慢。本地大模型玩玩可以，不实用。
还是得花钱用第三方api。就是第三方api要训练成自己私人的，得使用agent，花费token比较多，就是花钱比较多