CUDA
Платформа параллельных вычислений и модель программирования от NVIDIA, запущенная в 2006 году. Тот самый ров, который сделал NVIDIA самой дорогой компанией мира.
Расширение C/C++ (__global__ void kernel(...)), исполняется на ядрах GPU. Иерархия: поток → warp (32 потока) → блок → сетка. Компилируется в PTX (промежуточное представление NVIDIA), затем в SASS (под конкретное поколение GPU). Поверх лежат библиотеки cuBLAS, cuDNN, NCCL, TensorRT.
PyTorch, TensorFlow, JAX и llama.cpp работают с CUDA через эти библиотеки. Конкуренты: AMD ROCm (пытается догнать), Intel oneAPI/SYCL, Apple Metal, OpenCL (проиграл). Mojo и Triton стараются спрятать CUDA за абстракцией.