BPE (バイトペアエンコーディング)
ほとんどの言語モデルでテキストをサブワードに分割しているアルゴリズム。もとは1994年の圧縮手法で、2016年にSennrichらが自然言語処理へ応用した。
学習は単純だ。1文字ずつの状態から始めて、最も頻出する隣接ペアを新しい記号に統合し、語彙が目標の大きさになるまで繰り返す。よく使う単語は1トークンになり、まれな単語は複数の断片から組み立てられる。これで2つの問題が同時に片づく。モデルが見たことのない単語も表現でき、語彙に活用形をすべて載せる必要もない。バイトレベルBPE(GPT-2以降)は生のバイトを対象にするため、絵文字やコードも含めて何でも符号化できる。コストの偏りもここから生じる。学習データに乏しい言語は、より多くのトークンに分割され、1文字あたりのコストが高くなる。