Ring Attention
Un metodo per addestrare ed eseguire modelli con finestre di contesto di milioni di token, dividendo la sequenza tra più GPU disposte ad anello. Pubblicato a Berkeley nel 2023.
Il problema è che l'attention richiede che ogni token veda tutti gli altri, mentre la memoria di una singola scheda contiene solo una frazione della sequenza. La soluzione è che ogni scheda tiene il proprio blocco della sequenza e calcola l'attention rispetto al blocco che ha in quel momento, mentre il blocco successivo viene fatto circolare lungo l'anello. Poiché il trasferimento avviene in parallelo al calcolo, la comunicazione è quasi interamente nascosta, e la lunghezza effettiva del contesto cresce linearmente con il numero di schede senza alcuna approssimazione aggiuntiva. Il risultato è matematicamente identico all'attention ordinaria, a differenza delle varianti sparse. La tecnica sta alla base di vari modelli che hanno annunciato finestre di contesto da un milione di token in su.