Tokenkosten
De prijseenheid van LLM's: 1 token ≈ 0,75 Engelse woorden ≈ 4 bytes. Zweeds kost meer (token/woord-verhouding ~1,5 tegenover 0,75 voor Engels) omdat de BPE-woordenschat zwaar op Engels leunt.
De tokenizer doet ertoe: GPT-4 (cl100k), Claude en Llama knippen allemaal anders. 'Hello world' is 2 tokens in GPT-4, 'Hej världen' is er 4. Code: één regel Python is ongeveer 5-10 tokens. Niet-Latijnse schriften (Japans, Arabisch) waren vóór cl100k_base veel duurder: het oude GPT-3 davinci kon voor Japans tekst 5× zoveel kosten. Prijs van het contextvenster: een aanroep met 200K context kost niet de prijs van 200K tokens, want alleen wat daadwerkelijk wordt verstuurd telt. Caching (Anthropic, Google): gecachete prefixen zijn bij opnieuw lezen 5-10× goedkoper.