个人为什么一定要考虑自己配大模型呢？

开源的再好，能比官方的更好？

我不明白的是：开源大模型是怎么训练的啊？如果不是商业公司的话，普通人无法无力
支撑起训练大模型的任务吧？



【 在 xeh 的大作中提到: 】
: 我作为过来人
: 建议如下：堆便宜的tesla 16g（P100）4个 ubuntu ollama(vllm好像需要某个级别以上跑不了） 64g可以跑比较有用的ollama模型了
: 16g的实在不建议
: ...................
--
FROM 117.143.169.*

所以我总觉得普通人没有必要考虑本地部署
多数人甚至都没有安装Agent的需求
我们普通人对安全性的要求没有那么高


【 在 ArchLinux 的大作中提到: 】
: 大多数开放权重的大模型都是商业公司训练的，真正的开源（包括数据集）模型像Allen AI OLMo和NVIDIA Nemotron这些也是有公司搞的。
--
FROM 117.143.169.*