BLT
Metas im Dezember 2024 vorgestellte Architektur, die ganz auf einen Tokenizer verzichtet und stattdessen rohe Bytes je nach Vorhersagbarkeit des Texts zu dynamisch großen Blöcken gruppiert.
Ein festes Vokabular hat bekannte Schwächen: unterrepräsentierte Sprachen erzeugen absurd viele Tokens, Tippfehler und seltene Zeichen zerfallen in Fragmente, und das Modell sieht die Buchstaben innerhalb eines Worts gar nicht. Direkt auf rohen Bytes zu arbeiten wäre dagegen zu teuer, weil Sequenzen dabei etwa viermal länger werden.
BLT löst das mit einem kleinen Modell, das die Entropie des nächsten Bytes schätzt und immer dort eine Blockgrenze setzt, wo die Unsicherheit hochschnellt — vorhersagbarer Text landet in langen Blöcken, schwieriges Material in kurzen. So fließt Rechenleistung genau dorthin, wo sie gebraucht wird. Skalierungsläufe zeigten Parität mit Llama 3 bei gleichem Trainingsbudget, dazu bessere Robustheit gegenüber verrauschter Eingabe.