- 主题:求用mac本地跑大模型的使用感受
最近出了llama3,很多人说可以顶gpt4了。而且可以本地跑。各位有人这么用的么?给介绍一下。如果很好用,考虑也弄一个。
--
FROM 117.133.52.*
MacBook M2都能跑,不过是量化版本,速度倒是嗖嗖的
【 在 chunhui 的大作中提到: 】
: 最近出了llama3,很多人说可以顶gpt4了。而且可以本地跑。各位有人这么用的么?给介绍一下。如果很好用,考虑也弄一个。
--
FROM 222.129.4.*
求详情。跑的啥模型?机器会不会长时间狂转?最重要的量化的版本使用效果能否达到gpt3.5的水准?
另外据说微软出了小模型性能很好。甚至可以在手机上跑。
【 在 omelet 的大作中提到: 】
: MacBook M2都能跑,不过是量化版本,速度倒是嗖嗖的
--
FROM 111.196.132.*
只要内存够大72b的量化都能跑。国外模型的问题是对中文支持普遍不太行。
【 在 chunhui (北瓜) 的大作中提到: 】
: 最近出了llama3,很多人说可以顶gpt4了。而且可以本地跑。各位有人这么用的么?给介绍一下。如果很好用,考虑也弄一个。
: --
:
:
--
FROM 124.127.220.*
看网上有人优化了llama3的中文。不知道效果如何。
【 在 syssky 的大作中提到: 】
: 只要内存够大72b的量化都能跑。国外模型的问题是对中文支持普遍不太行。
--
FROM 111.196.132.*
有一个苹果M芯片专属的MLX大模型框架,可以调用LLaMA和Stable Diffusion等,可以试
试看:)
【 在 chunhui 的大作中提到: 】
: 最近出了llama3,很多人说可以顶gpt4了。而且可以本地跑。各位有人这么用的么?给介绍一下。如果很好用,考虑也弄一个。
--
FROM 171.216.136.*
我看看。最好能利用m上的gpu和神经核。否则不是白花钱了么。
【 在 toyarmybin 的大作中提到: 】
: 有一个苹果M芯片专属的MLX大模型框架,可以调用LLaMA和Stable Diffusion等,可以试
: 试看:)
--
FROM 117.133.52.*
代替不了. 而且风扇呼呼响.
玩玩可以.
【 在 chunhui 的大作中提到: 】
: 最近出了llama3,很多人说可以顶gpt4了。而且可以本地跑。各位有人这么用的么?给介绍一下。如果很好用,考虑也弄一个。
--
FROM 123.116.124.*
他们说在回答的时候风扇响,平时不响。这样也可以忍受。
我搜了一圈儿,貌似llama3中文不怎么样。没办法替代gpt3.5.
【 在 USSRCCCP 的大作中提到: 】
: 代替不了. 而且风扇呼呼响.
: 玩玩可以.
--
FROM 117.133.52.*
你要搞中文, 可以看看国产的大模型, 头条和阿里都有.
【 在 chunhui 的大作中提到: 】
: 他们说在回答的时候风扇响,平时不响。这样也可以忍受。
: 我搜了一圈儿,貌似llama3中文不怎么样。没办法替代gpt3.5.
--
FROM 123.116.124.*