- 主题:巨震!谷歌发布六倍大模型存储压缩技术,将导致内存价格巨跌
谷歌除了搜索,其他方面很多东西都是虎头蛇尾,比如谷歌眼镜,谷歌之前还想搞物流
【 在 Barbarossa 的大作中提到: 】
: 原理很简单,比如豆包,如果你问它一个问题,它存起来,下次别人问同样的问题,大模型不需要去动用宝贵的算力资源去算,直接搜索cache里的答案就可以了。
: 大模型GPU必须配套内存(显存+系统内存),且是核心配置。其中GPU显存直接决定跑多大模型,它主要用来存储模型权重,中间数据计算,比如常见的70BDeepSeek需要80GB显存,极简版7B大模型也要13GB。显存不足会直接导致内存溢出,无法运行。
: 除此以外, 系统内存用来辅助加载、预处理数据,通常要求系统内存≥显存容量,如80GB显存配≥128GB内存。显存越大,系统内存需同步增大,否则会导致数据瓶颈。
--
FROM 116.128.189.*
512G内存,1T内存,这才能赚几个钱
【 在 isxb2 的大作中提到: 】
: 671 8b 精度的,纯内存是512g还是1t来着。
: 后悔没这样搞一把啊,用一年多,现在卖掉就爽了
:
--
FROM 116.128.189.*
大佬,楼主说的是70G的显存,70亿的参数
【 在 hut 的大作中提到: 】
: 而且他连大模型的参数数量大小也不是很明白
: 一会70g一会70亿的
: 再加上他没搞明白大模型的推理运行机理
: ...................
--
修改:TexasPotato FROM 116.128.189.*
FROM 116.128.189.*
楼主有幽默感,不会被得罪的
【 在 hut 的大作中提到: 】
: 70这个数字应该是来源于deepseek那个70b模型
: 内存大小与参数数量不好对应,也很乱
: 唉,我这智识上的正直,楼主被我得罪了
: ...................
--
FROM 116.128.189.*
我觉得人的大脑也是基于统计,而不是精确的
【 在 hut 的大作中提到: 】
: 本质缺陷,解决不了
: 毕竟是基于统计
: 而数学规则是精确的
: ...................
--
修改:TexasPotato FROM 116.128.189.*
FROM 116.128.189.*