nas能跑本地大模型不？

bugensui

duanyudan123 发表于 2024-11-8 00:45
还好把，3060-12g的还能将就。目前性价比最高的应该4060-16g。显存不够会没办法运行。所以优先考虑显存。这 ...

我还是白嫖api算了。之前部署了yaming116/sherpa-onnx-asr离线语音识别stt，直接用nas部署docker的，也很快，不过基本上10个字左右的短语音识别，也就3秒以内，看来简单的cpu和他的核显也可以。大模型估计是不行了

25989406

我用的P4 跑7b 8b 的模型还可以，能用的状态速度也尚可，但模型能力肯定不如70b
另外nas没显卡的话应该搞不定吧，定位不一样建议还是ubuntu来跑

bugensui

25989406 发表于 2024-11-8 11:53
我用的P4 跑7b 8b 的模型还可以，能用的状态速度也尚可，但模型能力肯定不如70b
另外nas没显卡的话应该搞不 ...

好的，行的，谢谢了。我放弃了

lichao622

能跑小的，但是小的理解意图不太好，还是gpt好用。但是需要魔法。。。。

bugensui

lichao622 发表于 2024-11-8 16:23
能跑小的，但是小的理解意图不太好，还是gpt好用。但是需要魔法。。。。

那挺麻烦，还是白嫖国产厂商的api算了

li2244578

要速度快..要上多卡.. 价格最少6-8K左右.b站 氪金核心有出过教程 ,你可以跟着他搭配.

lichao622

bugensui 发表于 2024-11-8 16:26
那挺麻烦，还是白嫖国产厂商的api算了

我觉得意图理解，然后控制设备，还是chatgpt厉害哈哈

bugensui

li2244578 发表于 2024-11-8 16:31
要速度快..要上多卡.. 价格最少6-8K左右.b站 氪金核心有出过教程 ,你可以跟着他搭配. ...

成本有点高了。而且还有电费成本，算了。不想了

bugensui

lichao622 发表于 2024-11-8 16:31
我觉得意图理解，然后控制设备，还是chatgpt厉害哈哈

是的，如果ha官方能搞就好了。直接系统级集成，

lichao622

bugensui 发表于 2024-11-8 16:46
是的，如果ha官方能搞就好了。直接系统级集成，

主要是需要魔法，希望国内厂商赶紧跟进。