A token ( angol token ) egy lexémából a lexikális elemzés folyamatában létrehozott objektum („tokenization”, az angol tokenizálásból ).
Az alkalmazásprogramozás során a token és a token fogalma nem térhet el egymástól.
A token sablon a tokenek azon osztályának formális leírása, amely képes létrehozni egy adott típusú tokent.
| token típusú | példák a tokenekre | leírás |
|---|---|---|
| sz | 257 | szám |
| id | Ident951 | azonosító |
| relop | <= | kapcsolati művelet |
| húr | "Szimbólum" | kisbetűs állandó |