- 主题:求用mac本地跑大模型的使用感受
那我直接在网上用就行了。而且他们也没超过gpt3.5。
我的目的是用上 3.5 或者4。如果本地能达到这个效果的话。
【 在 USSRCCCP 的大作中提到: 】
: 你要搞中文, 可以看看国产的大模型, 头条和阿里都有.
--
FROM 117.133.52.*
m1 pro,32G内存能不能跑啊?lz搞了求分享经验哈
--
FROM 118.193.105.*
要看跑哪个。小的可以。
【 在 knarf 的大作中提到: 】
: m1 pro,32G内存能不能跑啊?lz搞了求分享经验哈
--
FROM 117.133.52.*
大哥你在开玩笑么
能达到gpt3.5的水平?想多了
我本地M2 MacBook,20G内存,跑的是llama3 4bit量化
英文效果还可以,推理能力明显强于10b左右规模的其他模型吧
另外微软出的那个phi mini,那个参数规模才3.8b,你不要指望它能有多神奇
规模小的大模型,别梦想能有多牛的能力
【 在 chunhui 的大作中提到: 】
: 求详情。跑的啥模型?机器会不会长时间狂转?最重要的量化的版本使用效果能否达到gpt3.5的水准?
: 另外据说微软出了小模型性能很好。甚至可以在手机上跑。
--
FROM 222.129.4.*
32G可以跑llama3 fp16满血版
效果应该还不错
风扇应该是不会转的
【 在 knarf 的大作中提到: 】
: m1 pro,32G内存能不能跑啊?lz搞了求分享经验哈
--
FROM 222.129.4.*
他们说48G的mbp可以跑70B的版本。这个版本可以到gpt3.5。因为涉及到钱,所以我先来问问有无必要升级硬件。
既然你这么说,那肯定4bit版本是没必要考虑了。
【 在 omelet 的大作中提到: 】
: 大哥你在开玩笑么
: 能达到gpt3.5的水平?想多了
: 我本地M2 MacBook,20G内存,跑的是llama3 4bit量化
: ...................
--
FROM 117.133.52.*
那还能干其他的么?得留点性能干其他的活。
【 在 omelet 的大作中提到: 】
: 32G可以跑llama3 fp16满血版
: 效果应该还不错
: 风扇应该是不会转的
: ...................
--
FROM 117.133.52.*
跑着玩就算了吧,准备当生产力直接布个GPU服务器,所以没必要。。。
【 在 chunhui 的大作中提到: 】
: 他们说48G的mbp可以跑70B的版本。这个版本可以到gpt3.5。因为涉及到钱,所以我先来问问有无必要升级硬件。
: 既然你这么说,那肯定4bit版本是没必要考虑了。
--
FROM 221.224.127.*
看来得再等等
【 在 richiter 的大作中提到: 】
: 跑着玩就算了吧,准备当生产力直接布个GPU服务器,所以没必要。。。
--
FROM 103.90.179.*
70B的版本,你不用GPU跑的话,速度还是不行
【 在 chunhui 的大作中提到: 】
: 他们说48G的mbp可以跑70B的版本。这个版本可以到gpt3.5。因为涉及到钱,所以我先来问问有无必要升级硬件。
: 既然你这么说,那肯定4bit版本是没必要考虑了。
--
FROM 222.129.4.*