テスト時学習
推論中にも、現在の入力に基づいてモデルが重みを更新し続ける手法。各サンプルに適応する。2024年7月のスタンフォード大学とCMUの論文。
TTT-LinearとTTT-MLPは、アテンションを、自分自身の系列で学習する小さなRNNに置き換える。系列モデリングでMambaやTransformerに匹敵する。文脈内学習との違いは、活性化のパターンだけでなく、推論中に本物の勾配更新を行う点。難点は、サンプルごとに重みが違うときバッチ処理をどうするか。活発に研究されている分野。
推論中にも、現在の入力に基づいてモデルが重みを更新し続ける手法。各サンプルに適応する。2024年7月のスタンフォード大学とCMUの論文。
TTT-LinearとTTT-MLPは、アテンションを、自分自身の系列で学習する小さなRNNに置き換える。系列モデリングでMambaやTransformerに匹敵する。文脈内学習との違いは、活性化のパターンだけでなく、推論中に本物の勾配更新を行う点。難点は、サンプルごとに重みが違うときバッチ処理をどうするか。活発に研究されている分野。