BLT
Architettura di Meta del dicembre 2024 che elimina del tutto il tokenizer e raggruppa i byte grezzi in patch di dimensione variabile in base alla prevedibilità del testo.
Un vocabolario fisso ha problemi noti: le lingue poco rappresentate ottengono conteggi di token assurdi, i refusi e i caratteri rari si frantumano in frammenti e il modello non vede le lettere dentro una parola. Lavorare direttamente sui byte costa troppo, perché le sequenze diventano circa quattro volte più lunghe. BLT risolve il problema con un piccolo modello che stima l'entropia del byte successivo e pone un confine di patch dove l'incertezza aumenta: il testo prevedibile finisce in patch lunghe, il materiale difficile in patch corte. Il calcolo si concentra dove serve. Gli esperimenti di scaling hanno mostrato prestazioni pari a Llama 3 a parità di budget di addestramento, con maggiore robustezza agli input rumorosi.