这种功能目前看基本不可能,我昨天和豆包的对话,今天再跟他说同一个话题他都跟个白痴一样,完全忘干净了,每次都需要重新调用。
【 在 Barbarossa 的大作中提到: 】
: 原理很简单,比如豆包,如果你问它一个问题,它存起来,下次别人问同样的问题,大模型不需要去动用宝贵的算力资源去算,直接搜索cache里的答案就可以了。
: 大模型GPU必须配套内存(显存+系统内存),且是核心配置。其中GPU显存直接决定跑多大模型,它主要用来存储模型权重,中间数据计算,比如常见的70BDeepSeek需要80GB显存,极简版7B大模型也要13GB。显存不足会直接导致内存溢出,无法运行。
: 除此以外, 系统内存用来辅助加载、预处理数据,通常要求系统内存≥显存容量,如80GB显存配≥128GB内存。显存越大,系统内存需同步增大,否则会导致数据瓶颈。
--
FROM 124.17.26.*