- 主题:求用mac本地跑大模型的使用感受
最近出了llama3,很多人说可以顶gpt4了。而且可以本地跑。各位有人这么用的么?给介绍一下。如果很好用,考虑也弄一个。
--
FROM 117.133.52.*
求详情。跑的啥模型?机器会不会长时间狂转?最重要的量化的版本使用效果能否达到gpt3.5的水准?
另外据说微软出了小模型性能很好。甚至可以在手机上跑。
【 在 omelet 的大作中提到: 】
: MacBook M2都能跑,不过是量化版本,速度倒是嗖嗖的
--
FROM 111.196.132.*
看网上有人优化了llama3的中文。不知道效果如何。
【 在 syssky 的大作中提到: 】
: 只要内存够大72b的量化都能跑。国外模型的问题是对中文支持普遍不太行。
--
FROM 111.196.132.*
我看看。最好能利用m上的gpu和神经核。否则不是白花钱了么。
【 在 toyarmybin 的大作中提到: 】
: 有一个苹果M芯片专属的MLX大模型框架,可以调用LLaMA和Stable Diffusion等,可以试
: 试看:)
--
FROM 117.133.52.*
他们说在回答的时候风扇响,平时不响。这样也可以忍受。
我搜了一圈儿,貌似llama3中文不怎么样。没办法替代gpt3.5.
【 在 USSRCCCP 的大作中提到: 】
: 代替不了. 而且风扇呼呼响.
: 玩玩可以.
--
FROM 117.133.52.*
那我直接在网上用就行了。而且他们也没超过gpt3.5。
我的目的是用上 3.5 或者4。如果本地能达到这个效果的话。
【 在 USSRCCCP 的大作中提到: 】
: 你要搞中文, 可以看看国产的大模型, 头条和阿里都有.
--
FROM 117.133.52.*
要看跑哪个。小的可以。
【 在 knarf 的大作中提到: 】
: m1 pro,32G内存能不能跑啊?lz搞了求分享经验哈
--
FROM 117.133.52.*
他们说48G的mbp可以跑70B的版本。这个版本可以到gpt3.5。因为涉及到钱,所以我先来问问有无必要升级硬件。
既然你这么说,那肯定4bit版本是没必要考虑了。
【 在 omelet 的大作中提到: 】
: 大哥你在开玩笑么
: 能达到gpt3.5的水平?想多了
: 我本地M2 MacBook,20G内存,跑的是llama3 4bit量化
: ...................
--
FROM 117.133.52.*
那还能干其他的么?得留点性能干其他的活。
【 在 omelet 的大作中提到: 】
: 32G可以跑llama3 fp16满血版
: 效果应该还不错
: 风扇应该是不会转的
: ...................
--
FROM 117.133.52.*
看来得再等等
【 在 richiter 的大作中提到: 】
: 跑着玩就算了吧,准备当生产力直接布个GPU服务器,所以没必要。。。
--
FROM 103.90.179.*