词法分析器是什么

词法分析器又称扫描器。词法分析是指将我们编写的文本代码流解析轿局世为一个腊游一个的记号，分析得到的记号以供后续语法分析使用。词法分析器的工作是低级别的分析：将字符或者字符序列转化成记号.。在谈论词法分析时，使用术语“词法记号”（简称记号）、“模式”和“词法单元”表示特定的含义。

在分析时，一是把词法分析器当成语法分析的一部分，另一种是把词法分析器当成编译程序的独立部分。在前一种情况下，词法分析器不断地被语法分析器调用，每调用一次词法分析器将从源程序的字符序列拼出一个单词，并将其Token值返回给语闭肢法分析器。后一种情况则不同，词法分析器不是被语法分析器不断地调用，而是一次扫描全部单词完成编译器的独立一遍任务。

词法分析时单词的识别根据构词规则识别单词。

1、词法分析的任务

词法分析是编译的第一个阶段，其任务是：从左至右逐个字符地对源程序（用高级语言编写的）进行扫描，产生一个个单词符号，把字符串形式的源程序改造成为单词符号串形式的中间程序。

2、词法分析器

执行词法分析的程序称为词法分析程序，也称为词法分析器或扫描器。词法分析器的功能是输首袜入源程序，输出单词符号。

3、词法分析的两种处理结构

（1）把词法分析程序作为主程序。即，把词法分析与语法分析明显分开，由词法分析程序将字符串形式的源程序改造成单词符号串形式的中间程序，以这个中间程序作为语法分析程序的输入。在这种处理结构中，词法分析和语法分析实晌芹卜际上是分别实现的。

（2）把词法分析程序作为语法分析程序调用的子程序。在进行语法分析时，每当语法分析程序需要一个单词时，便调用词法分析程序，词法宴穗分析程序每一次调用便从字符串源程序中识别出一个单词交给语法分析程序。词法分析和语法分析实际上是交替进行的。

---