Token-Typen

Token-Typen sind üblicherweise

• reservierte Wörter (if, while, class, ...)
• Bezeichner (foo, bar, ...)
• Literale für ganze Zahlen, Gleitkommazahlen, Strings, Zeichen
• Trennzeichen (Komma, Semikolon)
• Klammern (runde: paren(these)s, eckige: brackets, geschweifte: braces, spitze: angle brackets)
• Operatoren (=, +, &&, ...)
• Leerzeichen, Kommentare (whitespace)

alle Token eines Typs bilden eine formale Sprache