概述

词法分析即对程序源码进行分词处理，分词处理就是把文本流分割成一个又一个符号。分词处理的输入输出是什么呢？

• 输入是源码字符串流
• 输出是：

1. 整型的类型枚举值，表示符号类型，如字符串；
2. 符号内容信息，如字符串内容"abcdef"。

所以分词程序的任务就是提取符号。

实例

示例1

示例1适合入门，讲解的比较全，链接。

示例2

示例2是LUA源码中的解析器实现。Lua的github链接。