BLT
Metaが2024年12月に発表した、トークナイザを廃止し、生のバイト列をテキストの予測しやすさに応じて可変長の「パッチ」にまとめるアーキテクチャ。
固定語彙には既知の問題がある。少数派の言語はトークン数が不当に膨らみ、誤字や珍しい文字は断片に砕け、モデルは単語の中の文字を見られない。かといって生のバイトで処理すると、系列が約4倍長くなり高コストだ。BLTは、小さなモデルで次のバイトのエントロピーを推定し、不確実性が跳ね上がる位置にパッチの境界を置くことでこれを解決する。予測しやすい部分は長いパッチに、難しい部分は短いパッチになるので、計算が必要な場所に集中する。スケーリング実験では、同じ学習予算でLlama 3と同等の性能を示し、ノイズの多い入力への頑健性は上回った。