- 主题:mac跑大模型怎么样呢？
准备买个m3 max 128G跑大模型推理，gpu据说能用上？效果怎么样？
--
FROM 39.144.106.*
能跑，跑6B 13B都ok。
更大的估计会有点慢了。
Apple Silicon的mps优化也很明显。
【 在 artech51 的大作中提到: 】
: 准备买个m3 max 128G跑大模型推理，gpu据说能用上？效果怎么样？
--
FROM 120.244.12.*
推理没问题。128G可以跑34B毫无压力，跑70b得量化了。还可以做作34B codeLlama的Lora fine-tune，就是坑很多，很多现成的fine-tune代码不能用，得自己写。
【 在 artech51 的大作中提到: 】
: 准备买个m3 max 128G跑大模型推理，gpu据说能用上？效果怎么样？
--
FROM 220.243.154.*
4090的话是不是跑不了34B？
【 在 Xjt 的大作中提到: 】
: 推理没问题。128G可以跑34B毫无压力，跑70b得量化了。还可以做作34B codeLlama的Lora fine-tune，就是坑很多，很多现成的fine-tune代码不能用，得自己写。
--
FROM 139.227.98.*
4090才多点显存啊。。。这玩意毫无用处。我自己的mac都32g内存，吊打4090。
【 在 artech51 的大作中提到: 】
: 4090的话是不是跑不了34B？
--
FROM 220.243.154.*
我就趁着4090被禁前买了一个，想着反正不玩了也能出个好价钱
其实我不需要训练大模型，我是需要一些深度学习模型搞量化
【 在 Xjt 的大作中提到: 】
: 4090才多点显存啊。。。这玩意毫无用处。我自己的mac都32g内存，吊打4090。
--
FROM 139.227.98.*
你可以自己算下，３４Ｂ乘以３２ｂｉｔ是多少吧
【 在 artech51 的大作中提到: 】
: 4090的话是不是跑不了34B？
--
FROM 222.129.3.*
估算的话，干脆直接记 1就好了，也就是 7B-BF 就是 7 * 2 = 14 GB 的显存，因为除了参数，推理还需要另外的显存，溢出一点没坏处。
【 在 artech51 的大作中提到: 】
: 4090的话是不是跑不了34B？
--
FROM 222.129.3.*
如果跑7B的话，4090比mbp顶配gpu会快多少呢？
【 在 omelet 的大作中提到: 】
: 估算的话，干脆直接记 1就好了，也就是 7B-BF 就是 7 * 2 = 14 GB 的显存，因为除了参数，推理还需要另外的显存，溢出一点没坏处。
:
--
FROM 139.227.98.*
快也没意义，做推理就你一个人用，你要那么快干啥呢。做fine-tune的话，4090玩玩7B模型微调还是不错的
【 在 artech51 的大作中提到: 】
: 如果跑7B的话，4090比mbp顶配gpu会快多少呢？
: :
--
FROM 39.144.106.*