SentencePiece
Tokenizador do Google, de 2018, que trata o texto como um fluxo bruto de caracteres, espaços inclusive, e por isso funciona igual em japonês e em inglês.
Os tokenizadores anteriores presumiam que o texto já tinha sido dividido em palavras pelos espaços, um vício ocidental que não vale para japonês, chinês ou tailandês. O SentencePiece pula essa etapa: o espaço é codificado como um caractere comum, ▁, o que também torna a decodificação sem perdas — junte os pedaços e você obtém exatamente o original. A ferramenta implementa BPE e um modelo de linguagem unigram, em que o vocabulário é podado a partir de um conjunto inicial propositalmente grande, medindo quais peças contribuem menos. T5, ALBERT, XLNet e Llama o usam, o que faz dele um dos componentes mais difundidos da modelagem de linguagem moderna.