Triton
Więcej informacji
- Twórca
- Philippe Tillet (Harvard / OpenAI)
- Rok
- 2021 (open source)
- Typ
- Język podobny do Pythona do kerneli GPU
- Licencja
- MIT
- Kod źródłowy
- github.com/triton-lang/triton
Pythonowy DSL do pisania kerneli CUDA – Tillet w OpenAI. Napędza FlashAttention, torch.compile z PyTorch 2 i większość współczesnego trenowania LLM-ów.
Idea: pisać kernele na poziomie Pythona (bez ręcznego zarządzania pamięcią współdzieloną, bankami i warpami), a kompilator Tritona generuje konkurencyjny PTX. Tri Dao (FlashAttention) napisał zarówno wersję w Cutlassie, jak i w Tritonie – Triton wygrał czytelnością. Wsparcie dla AMD ROCm pojawiło się w 2024 roku. Nie mylić z Nvidia Triton Inference Server (zupełnie inna rzecz).