BPE
Der Algorithmus, der Text für fast jedes Sprachmodell in Teilwörter zerlegt. Ursprünglich eine Komprimierungsmethode von 1994, 2016 von Sennrich et al. für die Sprachverarbeitung angepasst.
Das Training ist simpel: mit einzelnen Zeichen beginnen, das häufigste benachbarte Paar suchen, zu einem neuen Symbol verschmelzen, wiederholen, bis das Vokabular die gewünschte Größe hat. Häufige Wörter werden so zu einem einzigen Token, seltene setzen sich aus mehreren Teilen zusammen. Das löst zwei Probleme zugleich — ein Wort, das das Modell nie gesehen hat, lässt sich trotzdem darstellen, und das Vokabular muss nicht jede Flexionsform enthalten. Byte-Level-BPE (ab GPT-2) arbeitet auf rohen Bytes und kann deshalb alles kodieren, auch Emoji und Code. Daher kommen auch die ungleichen Kosten: Sprachen, die in den Trainingsdaten unterrepräsentiert sind, werden in mehr Tokens zerlegt und kosten pro Zeichen mehr.