Token (lexikální analýza)

Token ( anglicky token ) je objekt vytvořený z lexému v procesu lexikální analýzy („tokenizace“, z anglického tokenizing ).

V programování aplikací se koncept tokenu a jeho tokenu nemusí lišit.

Šablona tokenu je formální popis třídy tokenů, které mohou vytvořit daný typ tokenu.

Příklady