part6 编程语言词法单元的思考

为什么要如此设计词（token）？

关于语言文法的发展可以参考霍姆斯基《句法结构》一文中提及的几种语法表达方式，到提出目前的常用语法基本范式—上下文无关文法context-free grammar。当然这个不足以说明词（token）的设计原因，要进一步说明，还需要与当前计算机模型—图灵机Turing Machine的可判定性与停机问题结合。

持续完善，更新中