自托管开源的LLM和官网在线的有多大差别？

水木社区手机版

主题:自托管开源的LLM和官网在线的有多大差别？
楼主|mingtong|2025-07-30 09:52:04|展开
比如DeepSeek这种100%开源的LLM，自己本地托管，和它的网站上相比，
性能或者说完整度要打多少折扣？
是不是只有LLM开源了，RAG得自己搞？
--
FROM 220.167.79.*
2楼|mingtong|2025-07-30 11:53:23|展开
【在 ArchLinux 的大作中提到: 】
: 自己部署硬件性能没大运营商的好，软件优化可能不够。过大的模型需要量化造成一些性能损失，system prompt这些细节可能会和官网的不一样。
:

如果只是跑小的呢？比如7B，然后官网也选7B
--
FROM 61.157.76.*

BYR-Team©2010. KBS Dev-Team©2011 登录完整版