BPE Byte Pair Encoding
L'algorithme qui découpe le texte en sous-mots pour presque tous les modèles de langage. À l'origine une méthode de compression de 1994, adaptée au traitement du langage par Sennrich et al. en 2016.
L'entraînement est simple : on part des caractères isolés, on repère la paire adjacente la plus fréquente, on la fusionne en un nouveau symbole, et on recommence jusqu'à atteindre la taille de vocabulaire voulue. Les mots courants finissent en un seul jeton, les mots rares se composent de plusieurs morceaux. Cela règle deux problèmes d'un coup : un mot jamais vu reste représentable, et le vocabulaire n'a pas à contenir chaque forme fléchie.
Le BPE au niveau de l'octet (à partir de GPT-2) travaille sur les octets bruts et peut donc tout encoder, emoji et code compris. C'est aussi l'origine d'un coût inégal : les langues sous-représentées dans les données d'entraînement sont découpées en davantage de jetons, et coûtent donc plus cher par caractère.