千真万确

【 在 xiaofeizai 的大作中提到: 】
: 竟有此事
:
: 【 在 Barbarossa 的大作中提到: 】
: : 原理很简单，比如豆包，如果你问它一个问题，它存起来，下次别人问同样的问题，大模型不需要去动用宝贵的算力资源去算，直接搜索cache里的答案就可以了。
: :
: : 大模型GPU必须配套内存（显存+系统内存），且是核心配置。其中GPU显存直接决定跑多大模型，它主要用来存储模型权重，中间数据计算，比如常见的70BDeepSeek需要80GB，显存，极简版7B大模型也要13GB。显存不足会直接内存溢，无法运行。

--发自 ismth(丝滑版)
--
FROM 14.18.99.*