一共三段，第一段介绍谷歌技术工作原理，第二段说大模型显存配置，第三段说系统配置，非常清楚简洁。

【 在 hut 的大作中提到: 】
: 内容乱七八糟
: 你不是学it的吧
: 【 在 Barbarossa 的大作中提到: 】
: : 原理很简单，比如豆包，如果你问它一个问题，它存起来，下次别人问同样的问题，大模型不需要去动用宝贵的算力资源去算，直接搜索cache里的答案就可以了。
: : 大模型GPU必须配套内存（显存+系统内存），且是核心配置。其中GPU显存直接决定跑多大模型，它主要用来存储模型权重，中间数据计算，比如常见的70BDeepSeek需要80GB显存，极简版7B大模型也要13GB。显存不足会直接导致内存溢出，无法运行。
: : 除此以外， 系统内存用来辅助加载、预处理数据，通常要求系统内存≥显存容量，如80GB显存配≥128GB内存。显存越大，系统内存需同步增大，否则会导致数据瓶颈。

--发自 ismth(丝滑版)
--
FROM 14.18.99.*