Picking (selección con el ratón)
Responder a «¿sobre qué acaba de hacer clic el jugador?» cuando el ratón solo conoce un píxel y la escena tiene tres dimensiones.
El método habitual recorre la cadena de transformaciones al revés. El píxel del cursor se convierte en coordenadas normalizadas de dispositivo, se multiplica por la inversa de las matrices de proyección y de vista y se transforma en un rayo en el mundo, que luego se prueba contra colisionadores o una jerarquía de volúmenes envolventes. Gana lo primero que toque.
La alternativa es el picking por identificador: cada objeto se dibuja en un búfer invisible con un color único y se lee el píxel bajo el cursor. Resulta exacto al píxel incluso con formas raras, pero leer de la GPU sale caro si no se retrasa un fotograma o dos. OpenGL tuvo un modo de selección integrado, GL_SELECT, declarado obsoleto en la versión 3.0 en 2008, y pocos lo lloraron.