SentencePiece
Googles tokeniserare från 2018 som behandlar texten som en rå teckenström, blanksteg inkluderade, och därför fungerar likadant på japanska som på svenska.
Tidigare tokeniserare förutsatte att texten först delades i ord med mellanslag, vilket är en västerländsk vana som inte gäller för japanska, kinesiska eller thailändska. SentencePiece hoppar över det steget helt: blanksteg kodas som ett vanligt tecken, ▁, vilket också gör avkodningen förlustfri — man kan sätta ihop bitarna igen och få tillbaka exakt originalet. Verktyget implementerar både BPE och en unigramspråkmodell där vokabulären trimmas ner från en överflödig startmängd genom att räkna vilka bitar som bidrar minst. T5, ALBERT, XLNet och Llama använder det, vilket gör det till en av de mest spridda komponenterna i modern språkmodellering.