哈哈,两个月?还容易?你都查错了哦
从来没听说过什么推理端跟训练端在生态上有什么要求不同。推理对效率要求同样极高,生态至关重要,一个量化规格就阻碍很多了,所谓生态适配的重点本来就是效率问题,现在所谓的跨生态推理没有一个靠谱的。
【 在 ericzeng 的大作中提到: 】
: 哈哈,还是只会提问。什么都说不出来。
:
: 我再给你科普一下吧,字节收到910b后,两三个月就推理业务上线了。很困难吗?
:
: 推理要的是算力和功耗成本,对生态的要求比训练小多了。这个哪怕不懂ai用点基本的逻辑都能想清楚
--发自 ismth(丝滑版)
--
FROM 114.246.237.*