nas能跑本地大模型不？

bugensui

有没有大佬玩本地大模型吗？nas里能部署本地大模型不，我的配置如下：威联通的TS-453Dmini，内存我升级到了20G了（原厂是8G内存），cpu是J4125,只有核显，没有独立显卡，只装了2块硬盘，一块三星的1T固态硬盘，一块10T的机械硬盘，这种配置，能跑本地大模型不？

另外好像市面上的nas都没有独立显卡的，如果自己组装nas，配英伟达的独立显卡，那估计平时的功耗都要200-300w了，我现在的nas平时是20-30w左右。

xxlxmd

没啥意义 我之前部署meta那个 比如问答 问答一次回复可能2-4秒 如果长回复需要多次请求
你想智能家居控制 需要一个小而精的中文模型

bugensui

xxlxmd 发表于 2024-11-7 16:57
没啥意义 我之前部署meta那个 比如问答 问答一次回复可能2-4秒 如果长回复需要多次请求
你想智能家居控制  ...

是不是没有必要走本地化，直接走api云端请求，更省事。

lovelyelfpop

我们公司买的4060, 8G显存，试过各种开源大模型，最后结果是 体积大的模型用不了，体积小的模型效果很差，不如用大公司提供的AI接口

bugensui

lovelyelfpop 发表于 2024-11-7 17:00
我们公司买的4060, 8G显存，试过各种开源大模型，最后结果是 体积大的模型用不了，体积小的模型效果很差， ...

那我死心了。还是自己调用api接口吧，不穷折腾了。

xxlxmd

bugensui 发表于 2024-11-7 16:59
是不是没有必要走本地化，直接走api云端请求，更省事。

是的 本地服务还是性能太差 转个语音转文字都要好几秒
自己有个独显又费电

bugensui

xxlxmd 发表于 2024-11-7 17:07
是的 本地服务还是性能太差 转个语音转文字都要好几秒
自己有个独显又费电 ...

对的，但是部署个ocr和语音转文本是可以的，我有部署，短文本基本上1-2秒。大模型应该不行，都是推理的重任务

jjcs

没几张4090显卡跑不起来

bugensui

jjcs 发表于 2024-11-7 20:06
没几张4090显卡跑不起来

那我死心了，不折腾了

duanyudan123

还好把，3060-12g的还能将就。目前性价比最高的应该4060-16g。显存不够会没办法运行。所以优先考虑显存。这种小项目cuda核心基本够用。whisper大概占用4g左右显存，qwen2.5-7b大概5g左右。电力消耗的话你使用语音功能就会显卡就会满载运行基本跑满显卡的标称功率。不用的时候单显卡大概10来w的功耗，反正优先考虑白嫖api，白嫖的不好用或者嫖不到了再考虑本地。3060的stt基本维持再1s以内。自然语言处理不一定了有时候很快1s以内有时候能达到3s多。使用内置意图毫秒级处理。未来会有很多内置意图仅限操作设备，不包含乱讲，乱讲还是听不懂。其实语言模型就是把你乱讲的口语格式化了让ha的内置意图能理解。说白了就是大模型重复了你说的话。

                               
登录/注册后可看大图