Token
Die kleinste Einheit, mit der ein LLM arbeitet — ungefähr ein Wort, eine Silbe oder ein Zeichen.
"Hello world" sind 2 Token. Ein zusammengesetztes Wort wie "Donaudampfschifffahrt" zerfällt oft in 6–8 Token. Modelle berechnen pro Token; ein Preis wie 3 $/Mio. Input-Token bedeutet 3 Dollar pro Million eingeschickter Token.
Das Context Window eines Modells wird in Token gemessen — 200.000 Token entsprechen etwa 150.000 Wörtern, ungefähr einem kürzeren Buch. Alles darüber passt nicht mehr in einen einzigen Aufruf.