获取整数和浮点数的属性

这可能是所使用的解析算法的结果。一个简单的心理模型是令牌生成器尝试匹配 所有 令牌模式，并识别找到的 最长
匹配。在较低的级别上，令牌生成器逐个字符地工作，并且仅基于当前状态和输入字符做出决定-不应回溯或重新读取输入。

将具有公共前缀的模式（在本例中为

int

float

1. 读取

   1

   ，并进入指示 “正在读取a

   float

   或

   int

   文字”的状态
2. 读取

   .

   ，并进入 “读取

   float

   文字”状态
3. 读取

   _

   ，不能是

   float

   文字的一部分。解析器发出

   1.

   作为

   float

   文字令牌。
4. 从开始进行解析

   _

   ，并最终

   __class__

   作为标识符令牌发出。

另外：
这种标记化方法也是通用语言受到语法限制的原因。例如，标识符包含字母，数字和下划线，但不能以数字开头。如果允许，则

123abc

可以用作标识符，也可以用作整数，

123

后跟标识符

abc

。

类似于lex的令牌生成器会将其识别为前者，因为它导致最长的单个令牌，但是没有人喜欢在尝试读取代码时将这样的细节保留在他们的脑海中。或尝试为此编写和调试令牌生成器时。

然后，解析器尝试处理令牌流：

<FloatLiteral: '1.'> <Identifier: '__class__'>

在Python中，直接跟有 标识符 的 文字（ 在标记之间没有 运算符）
没有意义，因此解析器无法正常运行。这也意味着Python会抱怨语法无效的原因不是令牌生成器错误“该字符在整数文字中无效”，而是解析器错误“标识符不能直接跟随整数文字”

123abc``a``abc``123

为什么标记生成器无法识别的原因

1

int

float

int

.

float

int

令牌生成器不可能“返回”并将其他内容重新读取为先前的输入。实际上，令牌生成器的级别太低，不足以关心“属性访问”是什么并且无法处理此类歧义。

现在，您的第二个示例是有效的，因为令牌生成器知道一个

float

.

.

float

int

float

E

j

float

.

float

<FloatLiteral: '1.'> <Operator: '.'> <Identifier: '__class__'>

当然，解析器随后会将其识别为有效的Python。现在我们也知道为什么建议的解决方法会有所帮助。在Python中，用空格分隔标记是 可选的
–与Lisp不同。相反，空格 会 分隔令牌。（也就是说，除了

string

1 .__class__

始终标记为

<IntLiteral: '1'> <Operator: '.'> <Identifier: '__class__'>

由于右括号不能出现在

int

(1).__class__

被读取为：

<Operator: '('> <IntLiteral: '1'> <Operator: ')'> <Operator: '.'> <Identifier: '__class__'>

有趣的是，上述内容暗示以下内容也有效：

1..__class__ # => <type 'float'>

float

.