Die Menge aller möglichen Werte einer Tokenklasse ist üblicherweise eine reguläre Sprache, und wird (extern) durch eine regulären Ausdruck beschrieben.
Die Menge E() der regulären Ausdrücke über einem Alphabet (Buchstabenmenge) ist die kleinste Menge E, für die gilt:
(autotool: Ziffern oder Kleinbuchstaben)
Eps
)
Empty
)
*
oder weglassen)
+
)
^*
)