nas能跑本地大模型不？

bugensui

lichao622 发表于 2024-11-8 16:47
主要是需要魔法，希望国内厂商赶紧跟进。

我今天看了ha的11月版本更新说明，看到ha的项目被github评为2024年最流行的开源项目，这么好的项目，国内支持力度太低了。不使用魔法，不懂点技术，真的很难玩，可惜了。

fack188

你一个核显，还是超低功耗的，部署个啥本地模型？算力不说，最少上百G的训练资料你都难倒腾。

bugensui

fack188 发表于 2024-11-8 19:36
你一个核显，还是超低功耗的，部署个啥本地模型？算力不说，最少上百G的训练资料你都难倒腾。 ...

行吧，算了吧，不弄了

dahai2626

4090 跑个8B 。 70B的跑不了。