词法分析的目的

词法分析的目的，是将源程序读入并且转化为记号流。
读入的源程序，我们称之为字符流，而经过词法分析之后，我们称之为记号流（tokens）

image.png

转移图

处理字符流的技术，称之为状态图。如abc读入为一个token，那么a->b->c是一个状态链条，读入相应的字符则状态转移。
下图展示了一个>=,>,=,<=,<的状态转移图。

image.png

正则表达式

image.png