搞大模型还是弄个像样的GPU吧，CPU推理小点的模型其实生成速度也还可以，但是预处理速度不行。便宜点的卡可以考虑二手的 AMD Instinct MI50 16G/32G, 新卡可以看看 Intel Arc A770 16G 还有摩尔线程。如果 CPU 是你说的 6 代 i7 的话，倒是也不算慢。

【 在 dadou 的大作中提到: 】
: 以前就文档看个电影，现在随大流弄弄大模型，像语音识别之类，感觉好慢，不知道是不是硬件不行，
: i7 3.4G   显卡GT270 2G   内存16G   是不是主要是显卡不行？
--
FROM 114.254.9.*

感觉现在主流的软件还是用不好所谓的AI处理器里的加速器。我现在用的 Intel AlderLake 平台装一张 AMD Instinct MI50 32G, 跑个 gpt-oss-20b 可以有 80token/s 以上的生成速度，不知道新的 x86 平台没独显能不能跑出这个速度。

【 在 natsel 的大作中提到: 】
: 跑大模型，当然要买 AMD Ai 处理器，自带专为人工智能计算而设计的核心。
: 而且这个处理器是AMD对抗 nvidia 显卡产品线，采用的也是最新技术，十年八年内不会淘汰。
: 那些古董处理器架构，本来就不是为Ai设计的，怎么升级也不管用。
: ...................
--
FROM 124.64.19.*