- 主题:巨震！谷歌发布六倍大模型存储压缩技术，将导致内存价格巨跌
内容乱七八糟
你不是学it的吧
【 在 Barbarossa 的大作中提到: 】
: 原理很简单，比如豆包，如果你问它一个问题，它存起来，下次别人问同样的问题，大模型不需要去动用宝贵的算力资源去算，直接搜索cache里的答案就可以了。
: 大模型GPU必须配套内存（显存+系统内存），且是核心配置。其中GPU显存直接决定跑多大模型，它主要用来存储模型权重，中间数据计算，比如常见的70BDeepSeek需要80GB显存，极简版7B大模型也要13GB。显存不足会直接导致内存溢出，无法运行。
: 除此以外， 系统内存用来辅助加载、预处理数据，通常要求系统内存≥显存容量，如80GB显存配≥128GB内存。显存越大，系统内存需同步增大，否则会导致数据瓶颈。
--
FROM 112.2.77.*
标题跟内容有什么关系呢
内容就是第一段，说的就是缓存
然后后面也没说什么模型压缩
然后，内容里面的大模型gpu配内存那句
很少这样说的
我去年在自己没有独显的计算机上部署了
deepseek 32b，载入内存就可以了
gpu不是必需
大模型本体能载入到内存或者显存就可以了
所以我说后面的内容扯的挺乱
【 在 Barbarossa 的大作中提到: 】
: 你指出一下，哪里乱七八糟，你随便说一个地方。这里我精心编辑过了，比古代文言文还要言简意赅
:
--
FROM 112.2.77.*
我观察过大模型的运行时候的内存情况，基本上就是大模型本体载入需要的空间，比如32b的本体占硬盘大小20g，那么内存需要20g多点
你说的大模型70b不是70g，参数是700亿，这个需要43g的内存或者显存空间，这个模型我也装过几次
还有，你这里说的缓存跟你主楼说的不一样，主楼的意思有点像网页浏览器的缓存，你现在说的这个有点动态规划的思想，但是大模型推理起来是没法控制细节的，所以你说的不可行，只能是你我问的问题差不多，然后直接不要调用大模型了，直接把答案给后一个问的就可以了，就是网页缓存那种，当然了，问题相似度可以用小模样判断一下
【 在 Barbarossa 的大作中提到: 】
: 那你的内存，够用了。显存要存大模型权重数据的，比如你的大模型70G，参数70亿，这些参数都要存的，所以说大模型很吃内存。标题说的是为什么谷歌算法能省内存，因为大模型开起来后，有大量中间数据要存，现在引入缓存，这些中间数据就不需要存了。也就不需要那么多内存
:
--
FROM 112.2.77.*
当然了，我都装过多少次了
我计算机基本上都是没有独显
一般是1500一台（内存涨价前买的价格）
我有好多台，板上都发过
内存32g，跑deepseek 32b，它只需要20多g内存
没有独显，cpu做推理，也就慢点而已，个人玩玩，无所谓
【 在 Barbarossa 的大作中提到: 】
: 没有独显也能工作？难以置信。你的大模型应该配个RTX5090比较合适，否则运行太慢了。三万块绰绰有余了
:
--
FROM 112.2.77.*
至少是可以的
所以我说楼主找来的资料乱乱的
【 在 isxb2 的大作中提到: 】
: 纯内存一秒蹦不出几个字，心累。
:
--
FROM 112.2.77.*
时间概念大模型管不了，这可以交给大模型前端处理，大模型只是按段落里的字词顺序来生成
【 在 klbs 的大作中提到: 】
: 那都说了几十条了，且完整的历史发过去也不能改变根本问题，他仍然要去数据库调用原始素材，且他的时间线真是太糟糕了，这也是所有AI的共性问题，基本没有时间概念，得反复提醒。
--
FROM 112.2.77.*
而且他连大模型的参数数量大小也不是很明白
一会70g一会70亿的
再加上他没搞明白大模型的推理运行机理
内存显存缓存混乱
所以我说他不是搞it的，他还不服
【 在 isxb2 的大作中提到: 】
: 他是富人，不需要了解穷人怎么活
:
--
FROM 112.2.77.*
这个问题靠前端好解决
关键是大模型只能学到不精确的语言规则
无法学到精确的人类可以学习的数学规则
这才是本质缺陷
不如人类，多套推理系统
完美切换与融合
【 在 klbs 的大作中提到: 】
: 说的就是产品本身的缺陷
--
FROM 112.2.77.*
涉及到学术的，技术的，理论啥的
我还是挺认真的
其他的吹水的就无所谓了
【 在 isxb2 的大作中提到: 】
: 你灌水也灌的这么求真务实一丝不苟理性批判，
:
--
FROM 112.2.77.*
70这个数字应该是来源于deepseek那个70b模型
内存大小与参数数量不好对应，也很乱
唉，我这智识上的正直，楼主被我得罪了
【 在 TexasPotato 的大作中提到: 】
: 大佬，楼主说的是70G的内存，70亿的参数
:
:
--
FROM 112.2.77.*