Ring Attention
Метод обучения и запуска моделей с контекстным окном в миллионы токенов: последовательность делится между несколькими GPU, выстроенными в кольцо. Опубликован в Беркли в 2023 году.
Проблема в том, что attention требует, чтобы каждый токен видел все остальные, а памяти одной карты хватает лишь на малую долю последовательности. Решение: каждая карта хранит свой блок последовательности и считает attention с тем блоком, который у неё сейчас есть, пока следующий блок передаётся по кольцу. Поскольку передача идёт параллельно с вычислением, коммуникация почти полностью скрыта, а эффективная длина контекста растёт линейно с числом карт без дополнительных приближений. Результат математически идентичен обычному attention, в отличие от разреженных вариантов. На этой технике держатся несколько моделей, заявивших контекст от миллиона токенов.