- 主题:测试了一下不同硬件平台LLM的性能
mac studio是里面最便宜的吧
【 在 iwannabe 的大作中提到: 】
: 弄了三个测试环境，都安装gpustack+vllm(华为用mindie）
: 1. MAC Studio MAX M3 512G，号称可以运行deepseek 671b。
: 2. 华为910b 8卡， 512G内存，512G显存
: ...................
--
FROM 116.76.170.*
嗯，对于个人极客来说，Mac studio是最合适的，慢点但还能用啊，成本也能接受。
【 在 iwannabe 的大作中提到: 】
: 7w/120w/150w
:
--
FROM 106.11.31.*
老师，给讲讲 mac studio本地部署市面上的各种开源coder，能不能打呀
【 在 iwannabe 的大作中提到: 】
: 7w/120w/150w
:
--
FROM 116.76.171.*
嗯，我的意思是 你的体感下来，本地部署的coder，会不会卡到影响体验
【 在 iwannabe 的大作中提到: 】
: 支持面很广的，gguf格式的都支持，去huggingface或者modelscope上找
:
--
FROM 106.11.31.*