- 主题:本地部署Deepseek，买什么配置电脑？
rt
--
FROM 210.77.28.*
主要吃显存，越大越好
【 在 icome 的大作中提到: 】
: 标 题: 本地部署Deepseek，买什么配置电脑？
: 发信站: 水木社区 (Thu Feb 6 09:05:33 2025), 站内
:
: rt
: --
:
: ※ 来源:·水木社区
http://www.mysmth.net·[FROM: 210.77.28.*]
--
FROM 117.129.57.*
目前貌似苹果的 studio效率最高，顶配能勉强70B
--
修改:wangstone FROM 58.246.240.*
FROM 58.246.240.*
跟内存大小没关系么？
【 在 Acui 的大作中提到: 】
: 主要吃显存，越大越好
:
--
FROM 14.127.27.*
大内存很容易实现，可忽略不表
【 在 djkstra 的大作中提到: 】
: 跟内存大小没关系么？
--
FROM 117.129.57.*
显存越大越好，内存越大越好
个人感觉本地部署目前很难平衡性能和价格，部署大点的模型需要加显存内存，但与此同时云服务的api价格又在不断下降，买显卡的钱比用api贵多了...
我目前的计划是先用api和云服务，观望一下，等时机成熟再搞端侧
Ai这波可能会对云计算产业影响更大，云计算的商业模型立起来了。
【 在 icome 的大作中提到: 】
: rt
--
FROM 111.55.145.*
本地部署的最大优势是，可以利用本地数据对通用模型进行微调训练，得到适合自己需要的本地大模型，云服务是不可能提供这些信息的，未来大模型的发展方向 将会从通用大模型转向 面向企业、甚至是个人用户的私有模型。
【 在 Engelberger 的大作中提到: 】
: 显存越大越好，内存越大越好
: 个人感觉本地部署目前很难平衡性能和价格，部署大点的模型需要加显存内存，但与此同时云服务的api价格又在不断下降，买显卡的钱比用api贵多了...
: 我目前的计划是先用api和云服务，观望一下，等时机成熟再搞端侧
: ...................
--
修改:heideggerr FROM 113.232.155.*
FROM 113.232.155.*
可以租赁私有云。
以后有些本地化的场景:1.某些机器不能联网；2.个人想训练不受约束的模型（云服务商可能会ban掉）；3.更长远的，手机上的端侧模型保护隐私；4.企业想要保护自己的商业秘密。
目前就我个人的需要而言，本地化的机器成本偏高，性能不足（尤其是联网搜索整合不好）
【 在 heideggerr 的大作中提到: 】
: 本地部署的最大优势是，可以利用本地数据对通用模型进行微调训练，得到适合自己需要的本地大模型，云服务是不可能提供这些信息的，未来大模型的发展方向 将会从通用大模型转向 面向企业、甚至是个人用户的私有大模型。
:
:
--
FROM 111.55.145.*
总之，这是一次模式革新，从少数几个大厂垄断模型的训练，转变到众多企业用户可以参与的领域模型的训练。虽然，现在本地模型训练的成本还是有点高，但是毕竟已经降到一个够得着的水平了，我相信会有大量的行业软件开发者已经蠢蠢欲动了！甚至，搞得我这样的个人用户都开始蠢蠢欲动了。
【 在 Engelberger 的大作中提到: 】
: 可以租赁私有云。
: 以后有些本地化的场景:1.某些机器不能联网；2.个人想训练不受约束的模型（云服务商可能会ban掉）；3.更长远的，手机上的端侧模型保护隐私；4.企业想要保护自己的商业秘密。
: 目前就我个人的需要而言，本地化的机器成本偏高，性能不足（尤其是联网搜索整合不好）
: ...................
--
FROM 113.232.155.*
开源加速了模型和服务的拆分，云计算降低了购置硬件的成本，门槛大幅降低了
几百块就能蒸馏出一流的模型了，真是神奇
【 在 heideggerr 的大作中提到: 】
: 总之，这是一次模式革新，从少数几个大厂垄断模型的训练，转变到众多企业用户可以参与的领域模型的训练。虽然，现在本地模型训练的成本还是有点高，但是毕竟已经降到一个够得着的水平了，我相信会有大量的行业软件开发者已经蠢蠢欲动了！甚至，搞得我这样的个人用户都开始蠢蠢欲动了。
:
--
FROM 111.55.145.*