Zero-bubble pipeline
Una planificación que elimina el tiempo muerto en el entrenamiento con paralelismo de pipeline: divide el paso hacia atrás en dos mitades y aplaza la que nadie está esperando.
El paralelismo de pipeline reparte el modelo en etapas entre nodos, y el precio es la burbuja: al inicio de cada lote las etapas finales esperan sin hacer nada a que lleguen los datos, y al final las etapas iniciales esperan los gradientes. La clave está en que el paso hacia atrás son en realidad dos cálculos independientes: el gradiente respecto a las entradas, que la etapa anterior sí espera, y el gradiente respecto a los pesos, que nadie necesita hasta el momento de actualizar. Si se calcula de inmediato el gradiente de entrada y se encaja el de pesos en los huecos, la planificación puede llenarse por completo. El trabajo de Sea AI Lab de 2023 mostró planificaciones que alcanzan cero burbujas bajo supuestos realistas, frente a una quinta parte o más del tiempo perdido en el 1F1B clásico, a cambio de más memoria de activaciones y una implementación bastante más enrevesada.