Die Menge aller möglichen Werte einer Tokenklasse
ist üblicherweise eine reguläre Sprache,
und wird (extern) durch eine regulären Ausdruck beschrieben.
Die folgenden Aussagen sind äquivalent:
- L wird von einem regulären Ausdruck erzeugt.
- L wird von einer rechtslinearen Grammatik erzeugt.
(Chomsky-Typ 3)
- L wird von einem endlichen Automaten akzeptiert.
- L wird von einem endlichen deterministischen Automaten akzeptiert.
Johannes Waldmann
2008-01-24