水木社区手机版
首页
|版面-TeX和LaTeX(TeX)|
新版wap站已上线
返回
1/1
|
转到
主题:token到底是什么意思?
2楼
|
milksea
|
2022-02-14 14:10:24
|
展开
编译原理的术语,有相关背景一看就知道了。token 现在一般翻译为单词,以前也有翻译成记号的。词法分析的过程就是把字符序列转化为 token 序列,词法使用正则语言描述,有限状态自动机实现。
【 在 Torri 的大作中提到: 】
: 在看 texbook, 发现里面也没给一个定义就开始用了, 这个东西到底指什么?
: --
: FROM 1.203.116.*
--
FROM 114.249.198.*
3楼
|
milksea
|
2022-02-14 14:18:05
|
展开
举个例子,c 语言的 1 条语句
int foo = 123;
就有 5 个词法上的单词(token),分别是
int
foo
=
123
;
TeX 作为宏语言,部分功能是在字符层面处理的,部分功能是在单词层面处理的。
【 在 Torri 的大作中提到: 】
: 在看 texbook, 发现里面也没给一个定义就开始用了, 这个东西到底指什么?
: --
: FROM 1.203.116.*
--
FROM 114.249.198.*
1/1
|
转到
选择讨论区
首页
|
分区
|
热推
BYR-Team
©
2010.
KBS Dev-Team
©
2011
登录完整版