SentencePiece
Токенизатор Google 2018 года, который рассматривает текст как сырой поток символов, включая пробелы, и потому одинаково работает и с японским, и с английским.
Прежние токенизаторы предполагали, что текст сначала разбит на слова по пробелам, — западная привычка, не работающая для японского, китайского или тайского. SentencePiece вообще пропускает этот шаг: пробел кодируется обычным символом ▁, что делает и декодирование без потерь — склейте фрагменты обратно, и получите в точности исходный текст. Инструмент реализует и BPE, и юниграммную языковую модель, где словарь урезается из намеренно раздутого исходного набора по тому, какие фрагменты вносят наименьший вклад. T5, ALBERT, XLNet и Llama используют его, так что это один из самых распространённых компонентов современного языкового моделирования.