BLT
Architektura Mety z grudnia 2024, która w ogóle porzuca tokenizer i grupuje surowe bajty w patche o zmiennej długości, zależnie od tego, jak przewidywalny jest tekst.
Stały słownik ma dobrze znane problemy: słabo reprezentowane języki dostają absurdalną liczbę tokenów, literówki i rzadkie znaki rozpadają się na fragmenty, a model nie widzi liter wewnątrz słowa. Praca na surowych bajtach jest zbyt droga, bo sekwencje robią się mniej więcej cztery razy dłuższe. BLT rozwiązuje to małym modelem, który szacuje entropię następnego bajtu i stawia granicę patcha tam, gdzie niepewność skacze — tekst przewidywalny trafia do długich patchy, trudny materiał do krótkich. Moc obliczeniowa ląduje więc tam, gdzie jest potrzebna. Eksperymenty ze skalowaniem pokazały parytet z Llamą 3 przy tym samym budżecie treningowym oraz lepszą odporność na zaszumione dane.