Paralelismo de pipeline
Dividir el modelo por profundidad: las primeras capas viven en la GPU uno, el siguiente bloque en la GPU dos y así sucesivamente. Las activaciones avanzan por la cadena como en una cadena de montaje.
La versión ingenua es desesperante — mientras la primera tarjeta trabaja, todas las demás están paradas. El remedio es dividir el lote en microlotes que se alimentan en rápida sucesión para que todas las etapas estén ocupadas a la vez. Lo que queda es la burbuja: el tiempo muerto al principio y al final de cada lote, que se reduce cuantos más microlotes haya. El esquema 1F1B alterna un paso hacia adelante y uno hacia atrás para limitar cuántas activaciones hay que mantener en memoria, y la programación intercalada le da a cada tarjeta varios bloques de capas no contiguos para reducir aún más la burbuja. Casi siempre se combina con el paralelismo tensorial y de datos en lo que se llama paralelismo 3D.