比如你用豆包,输入一篇一万五千字的论文,那么相当于一万个token。如果是一篇一万个单词的文章,总共四万个字母,那么词元相当于一万个。如果你用APP,各种大模型内部调度,那么token消耗大得多。基本上分输入token,输出token,内部消耗的token
【 在 Apieceofwind 的大作中提到: 】
: 词元是什么
:
: 【 在 Barbarossa 的大作中提到: 】
: --
:
: FROM 223.104.40.* [北京 移动/数据上网公共出口]
--发自 ismth(丝滑版)
--
FROM 14.18.99.*