SentencePiece
Il tokenizzatore di Google del 2018, che tratta il testo come un flusso grezzo di caratteri, spazi compresi, e quindi funziona allo stesso modo sul giapponese e sull'inglese.
I tokenizzatori precedenti presupponevano che il testo fosse già stato diviso in parole sugli spazi, un'abitudine occidentale che non vale per giapponese, cinese o thailandese. SentencePiece salta del tutto quel passaggio: lo spazio è codificato come un carattere qualsiasi, ▁, il che rende anche la decodifica senza perdite: basta incollare i pezzi e si ottiene esattamente l'originale. Lo strumento implementa sia BPE sia un modello linguistico unigram, in cui il vocabolario viene sfoltito a partire da un insieme iniziale volutamente sovradimensionato, misurando quali pezzi contribuiscono di meno. T5, ALBERT, XLNet e Llama lo usano, il che ne fa uno dei componenti più diffusi della modellazione linguistica moderna.