竟有此事

【 在 Barbarossa 的大作中提到: 】
: 原理很简单，比如豆包，如果你问它一个问题，它存起来，下次别人问同样的问题，大模型不需要去动用宝贵的算力资源去算，直接搜索cache里的答案就可以了。
:
: 大模型GPU必须配套内存（显存+系统内存），且是核心配置。其中GPU显存直接决定跑多大模型，它主要用来存储模型权重，中间数据计算，比如常见的70BDeepSeek需要80GB，显存，极简版7B大模型也要13GB。显存不足会直接内存溢，无法运行。
: 除此以外， 系统内存用来辅助加载、预处理数据，通常要求≥显存容量，如80GB显存配≥128GB内存。显存越大，系统内存需同步增大，否则会导致数据瓶颈。
:
: --

--发自 ismth(丝滑版)
--
FROM 112.96.123.*