- 主题:巨震！谷歌发布六倍大模型存储压缩技术，将导致内存价格巨跌
这个问题靠前端好解决
关键是大模型只能学到不精确的语言规则
无法学到精确的人类可以学习的数学规则
这才是本质缺陷
不如人类，多套推理系统
完美切换与融合
【 在 klbs 的大作中提到: 】
: 说的就是产品本身的缺陷
--
FROM 112.2.77.*
简单来说，算力资源的利用效率更高了。同样的存储资源，可以吞吐更多数量的Token。
市场对此演绎2种逻辑：
1、利空存储厂商。之前AI基建扩张，导致存储产能严重不足。现在这玩意出来，市场部分观点，认为存储紧缺状况将会缓解。
2、继续利好存储厂商。算力效率提升，Token成本极大下降，AI应用加速普及。整体存储需求更加旺盛，产能短缺问题暂时难解。这是市场另一部分观点。
这种分歧，短期恐怕难求一致。看后续怎么演绎了。
我个人偏向第二种。
【 在 Barbarossa 的大作中提到: 】
: 原理很简单，比如豆包，如果你问它一个问题，它存起来，下次别人问同样的问题，大模型不需要去动用宝贵的算力资源去算，直接搜索cache里的答案就可以了。
: 大模型GPU必须配套内存（显存+系统内存），且是核心配置。其中GPU显存直接决定跑多大模型，它主要用来存储模型权重，中间数据计算，比如常见的70BDeepSeek需要80GB显存，极简版7B大模型也要13GB。显存不足会直接导致内存溢出，无法运行。
: 除此以外， 系统内存用来辅助加载、预处理数据，通常要求系统内存≥显存容量，如80GB显存配≥128GB内存。显存越大，系统内存需同步增大，否则会导致数据瓶颈。
: ...................
--
FROM 39.171.200.*
你灌水也灌的这么求真务实一丝不苟理性批判，
【 在 hut 的大作中提到: 】
: 而且他连大模型的参数数量大小也不是很明白
: 一会70g一会70亿的
: 再加上他没搞明白大模型的推理运行机理
: 内存显存缓存混乱
: 所以我说他不是搞it的，他还不服
--发自 ismth(丝滑版)
--
FROM 27.211.205.*
涉及到学术的，技术的，理论啥的
我还是挺认真的
其他的吹水的就无所谓了
【 在 isxb2 的大作中提到: 】
: 你灌水也灌的这么求真务实一丝不苟理性批判，
:
--
FROM 112.2.77.*
512G内存，1T内存，这才能赚几个钱
【 在 isxb2 的大作中提到: 】
: 671 8b 精度的，纯内存是512g还是1t来着。
: 后悔没这样搞一把啊，用一年多，现在卖掉就爽了
:
--
FROM 116.128.189.*
大佬，楼主说的是70G的显存，70亿的参数
【 在 hut 的大作中提到: 】
: 而且他连大模型的参数数量大小也不是很明白
: 一会70g一会70亿的
: 再加上他没搞明白大模型的推理运行机理
: ...................
--
修改:TexasPotato FROM 116.128.189.*
FROM 116.128.189.*
70这个数字应该是来源于deepseek那个70b模型
内存大小与参数数量不好对应，也很乱
唉，我这智识上的正直，楼主被我得罪了
【 在 TexasPotato 的大作中提到: 】
: 大佬，楼主说的是70G的内存，70亿的参数
:
:
--
FROM 112.2.77.*
赚一顿饭钱？
【 在 TexasPotato 的大作中提到: 】
: 512G内存，1T内存，这才能赚几个钱
:
: :
: --
发自「今日水木 on iPhone 13 Pro」
--
FROM 223.104.3.*
一个月生活费呢
【 在 TexasPotato 的大作中提到: 】
: 512G内存，1T内存，这才能赚几个钱
:
: 【 在 isxb2 的大作中提到: 】
: : 671 8b 精度的，纯内存是512g还是1t来着。
: : 后悔没这样搞一把啊，用一年多，现在卖掉就爽了
--发自 ismth(丝滑版)
--
FROM 27.211.205.*
楼主有幽默感，不会被得罪的
【 在 hut 的大作中提到: 】
: 70这个数字应该是来源于deepseek那个70b模型
: 内存大小与参数数量不好对应，也很乱
: 唉，我这智识上的正直，楼主被我得罪了
: ...................
--
FROM 116.128.189.*