Выбор объекта мышью (mouse picking)
Ответ на вопрос «по чему только что кликнул игрок?», когда мышь знает лишь пиксель, а у сцены три измерения.
Обычный подход прогоняет цепочку преобразований в обратную сторону. Пиксель курсора превращается в нормализованные координаты устройства, умножается на обратные матрицы проекции и вида и становится лучом в мире, который затем проверяется на пересечение с коллайдерами или иерархией ограничивающих объёмов. Побеждает то, что луч заденет первым.
Альтернатива — ID picking: каждый объект рисуется в невидимый буфер уникальным цветом, после чего считывается пиксель под курсором. Это точно до пикселя даже для неудобных форм, но чтение с GPU дорого, если не отложить его на кадр-другой. В OpenGL когда-то был встроенный режим выбора GL_SELECT; его объявили устаревшим в версии 3.0 в 2008 году, и жалели о нём немногие.