Die Menge aller möglichen Werte einer Tokenklasse ist üblicherweise eine reguläre Sprache, und wird (extern) durch eine regulären Ausdruck beschrieben.
Zur Erinnerung: Chomsky-Hierarchie
Die Menge E() der regulären Ausdrücke
über einem Alphabet (Buchstabenmenge)
ist die kleinste Menge E, für die gilt:
(autotool: Ziffern oder Kleinbuchstaben)
Eps
)
Empty
)
*
oder weglassen)
+
)
^*
)