BLT Byte Latent Transformer
L'architecture de Meta de décembre 2024 qui supprime complètement le tokeniseur et regroupe à la place les octets bruts en patchs de taille dynamique, selon le degré de prévisibilité du texte.
Un vocabulaire figé pose des problèmes bien connus : les langues sous-représentées se retrouvent avec des nombres de tokens absurdes, les fautes de frappe et les caractères rares volent en éclats, et le modèle ne voit pas les lettres à l'intérieur d'un mot. Travailler directement sur des octets bruts coûte trop cher, car les séquences deviennent environ quatre fois plus longues. BLT sort de l'impasse avec un petit modèle qui estime l'entropie de l'octet suivant et place une frontière de patch là où l'incertitude grimpe : le texte prévisible est emballé en longs patchs, les passages difficiles en patchs courts. Le calcul se concentre donc là où il est nécessaire. Les essais de mise à l'échelle ont montré une parité avec Llama 3 à budget d'entraînement égal, avec une meilleure robustesse face aux entrées bruitées.