那你的内存，够用了。显存要存大模型权重数据的，比如你的大模型70G，参数70亿，这些参数都要存的，所以说大模型很吃内存。标题说的是为什么谷歌算法能省内存，因为大模型开起来后，有大量中间数据要存，现在引入缓存，这些中间数据就不需要存了。也就不需要那么多内存
【 在 hut 的大作中提到: 】
: 标题跟内容有什么关系呢
: 内容就是第一段，说的就是缓存
: 然后后面也没说什么模型压缩
: 然后，内容里面的大模型gpu配内存那句
: 很少这样说的
: 我去年在自己没有独显的计算机上部署了
--发自 ismth(丝滑版)
--
FROM 14.18.99.*