原理很简单，比如豆包，如果你问它一个问题，它存起来，下次别人问同样的问题，大模型不需要去动用宝贵的算力资源去算，直接搜索cache里的答案就可以了。

大模型GPU必须配套内存（显存+系统内存），且是核心配置。其中GPU显存直接决定跑多大模型，它主要用来存储模型权重，中间数据计算，比如常见的70BDeepSeek需要80GB显存，极简版7B大模型也要13GB。显存不足会直接导致内存溢出，无法运行。
除此以外， 系统内存用来辅助加载、预处理数据，通常要求系统内存≥显存容量，如80GB显存配≥128GB内存。显存越大，系统内存需同步增大，否则会导致数据瓶颈。
--
修改:Barbarossa FROM 14.18.99.*
FROM 14.18.99.*

你指出一下，哪里乱七八糟，你随便说一个地方。这里我精心编辑过了，比古代文言文还要言简意赅

【 在 hut 的大作中提到: 】
: 内容乱七八糟
: 你不是学it的吧
: 【 在 Barbarossa 的大作中提到: 】
: : 原理很简单，比如豆包，如果你问它一个问题，它存起来，下次别人问同样的问题，大模型不需要去动用宝贵的算力资源去算，直接搜索cache里的答案就可以了。
: : 大模型GPU必须配套内存（显存+系统内存），且是核心配置。其中GPU显存直接决定跑多大模型，它主要用来存储模型权重，中间数据计算，比如常见的70BDeepSeek需要80GB显存，极简版7B大模型也要13GB。显存不足会直接导致内存溢出，无法运行。
: : 除此以外， 系统内存用来辅助加载、预处理数据，通常要求系统内存≥显存容量，如80GB显存配≥128GB内存。显存越大，系统内存需同步增大，否则会导致数据瓶颈。

--发自 ismth(丝滑版)
--
FROM 14.18.99.*

这是事实，但现在内存价格翻了好几倍，现在谷歌这种技术能让内存涨价歪风戛然而止

【 在 TexasPotato 的大作中提到: 】
: 谷歌除了搜索，其他方面很多东西都是虎头蛇尾，比如谷歌眼镜，谷歌之前还想搞物流
:
: 【 在 Barbarossa 的大作中提到: 】
: : 原理很简单，比如豆包，如果你问它一个问题，它存起来，下次别人问同样的问题，大模型不需要去动用宝贵的算力资源去算，直接搜索cache里的答案就可以了。
: : 大模型GPU必须配套内存（显存+系统内存），且是核心配置。其中GPU显存直接决定跑多大模型，它主要用来存储模型权重，中间数据计算，比如常见的70BDeepSeek需要80GB显存，极简版7B大模型也要13GB。显存不足会直接导致内存溢出，无法运行。
: : 除此以外， 系统内存用来辅助加载、预处理数据，通常要求系统内存≥显存容量，如80GB显存配≥128GB内存。显存越大，系统内存需同步增大，否则会导致数据瓶颈。

--发自 ismth(丝滑版)
--
FROM 14.18.99.*

内容很简单

【 在 isxb2 的大作中提到: 】
: 看得出来。
: 你即使平时胡言乱语也经常脉络清晰
:
: 【 在 Barbarossa 的大作中提到: 】
: : 一共三段，第一段介绍谷歌技术工作原理，第二段说大模型显存配置，第三段说系统配置，非常清楚简洁。
: :

--发自 ismth(丝滑版)
--
FROM 14.18.99.*

那你的内存，够用了。显存要存大模型权重数据的，比如你的大模型70G，参数70亿，这些参数都要存的，所以说大模型很吃内存。标题说的是为什么谷歌算法能省内存，因为大模型开起来后，有大量中间数据要存，现在引入缓存，这些中间数据就不需要存了。也就不需要那么多内存

【 在 hut 的大作中提到: 】
: 标题跟内容有什么关系呢
: 内容就是第一段，说的就是缓存
: 然后后面也没说什么模型压缩
: 然后，内容里面的大模型gpu配内存那句
: 很少这样说的
: 我去年在自己没有独显的计算机上部署了

--发自 ismth(丝滑版)
--
FROM 14.18.99.*