AI智能管家

duanyudan123

straylamb760704 发表于 2024-11-14 11:27
硬件不是问题现在12代cpu套装只要1000多点，加个显卡最多3000多，如果有这个高上大阿

...

那既然这样我先告诉你需要的硬件，近3年cpu仅需考虑核心数越多越好，32g内存起步、64g可靠、多了也可以。gpu需要20g左右显存，7b文本模型大约占6g多显存，7b视觉模型同样。语音到文字约4g显存。这样就有了ai基站。这是最基本的ai基站。主要设备是gpu。其中gpu的关键参数显存和cuda核心数。其次是能源，如果你一直需要ai来协助你，那么gpu将一直满载运行。大于300w的功耗。

xudaguo

请个保姆吧。。把6k电费给她就够了

wdmywm3

说实话，3000的显卡，也就玩玩试用一下，实际你要家庭纯本地流畅使用，我估计起码得用两张4080甚至两张4090……
一个专门跑语音，一个专门跑视觉
毕竟平时玩的时候，ai跑慢点，别说四五秒了，跑四五十秒，四五分钟都不是事，只要显存够大，你拿p40这种光有大显存，实际运算速度老慢的古董卡跑也没所谓
但你要是自己语音对话，四五秒才回应你，那已经是慢到无法忍受了……显卡本身的cuda性能也必须要强，才能实现真智能管家的效果
尤其是你要实现的模式，需要运行的多半还不止一两个大模型，单张卡还不见得够这还是现成的模型能够满足需要的情况下
如果现成模型满足不了需求，你需要微调之类的，可能就得租借gpu服务器来了……，调完了再扔回本地运行

hehe.1536

初中时有个想法，家庭计算中心，自己的所有设备都共享算力和甚至存储，算力就靠更新这个服务器的硬件，客户端更新就主打体验，总结一下也就是早几年的google chrome book，但现实是都尘归尘土归土了，所以想法不错，但是市场经济决定现在搞不成，个体是维护不动的，想要的话，要不坐等数字殖民，要不坐等币圈那群神经病的web3，哈哈哈哈