AI的回答为什么是一个字一个字出来的？

水木社区手机版

主题:AI的回答为什么是一个字一个字出来的？
16楼|poocp|2025-02-25 17:34:21|展开
目前在自然语言分词处理中，token被翻译为“词元”，是句子切分的最小单位，一个token平均约0.3个字母，或者0.6个汉字，具体的词元个数视实际句子的内容而定。比如computer或者电脑，就是一个词元，

【在 DoraemonQuan 的大作中提到: 】
: 一个token就是一个字的意思吗？
--
FROM 171.221.52.*
18楼|poocp|2025-02-25 17:52:49|展开
不矛盾，"我"也是一个词元。"计算机"也是一个词元。
“我用计算机”，这五个汉字分为三个词元“我”“用”“计算机”

【在 DoraemonQuan 的大作中提到: 】
: “一个token平均约0.3个字母，或者0.6个汉字”
: “比如computer或者电脑，就是一个词元”
: 这不是矛盾的么？
: ...................
--
修改:poocp FROM 171.221.52.*
FROM 171.221.52.*

BYR-Team©2010. KBS Dev-Team©2011 登录完整版