- 主题:求用mac本地跑大模型的使用感受
MacBook M2都能跑,不过是量化版本,速度倒是嗖嗖的
【 在 chunhui 的大作中提到: 】
: 最近出了llama3,很多人说可以顶gpt4了。而且可以本地跑。各位有人这么用的么?给介绍一下。如果很好用,考虑也弄一个。
--
FROM 222.129.4.*
大哥你在开玩笑么
能达到gpt3.5的水平?想多了
我本地M2 MacBook,20G内存,跑的是llama3 4bit量化
英文效果还可以,推理能力明显强于10b左右规模的其他模型吧
另外微软出的那个phi mini,那个参数规模才3.8b,你不要指望它能有多神奇
规模小的大模型,别梦想能有多牛的能力
【 在 chunhui 的大作中提到: 】
: 求详情。跑的啥模型?机器会不会长时间狂转?最重要的量化的版本使用效果能否达到gpt3.5的水准?
: 另外据说微软出了小模型性能很好。甚至可以在手机上跑。
--
FROM 222.129.4.*
32G可以跑llama3 fp16满血版
效果应该还不错
风扇应该是不会转的
【 在 knarf 的大作中提到: 】
: m1 pro,32G内存能不能跑啊?lz搞了求分享经验哈
--
FROM 222.129.4.*
70B的版本,你不用GPU跑的话,速度还是不行
【 在 chunhui 的大作中提到: 】
: 他们说48G的mbp可以跑70B的版本。这个版本可以到gpt3.5。因为涉及到钱,所以我先来问问有无必要升级硬件。
: 既然你这么说,那肯定4bit版本是没必要考虑了。
--
FROM 222.129.4.*
干的了,装不满
另外系统会做paging的,完全没问题
【 在 chunhui 的大作中提到: 】
: 那还能干其他的么?得留点性能干其他的活。
--
FROM 222.129.4.*
我觉得只要能装得下的模型都能跑,速度不知道,没那么大内存
【 在 beaver 的大作中提到: 】
: 128G的版本,或者192G的版本,能跑什么模型啊,效果如何?
:
--
FROM 114.249.48.*