Triton
Più info
- Creatore
- Philippe Tillet (Harvard / OpenAI)
- Anno
- Tipo
- Linguaggio in stile Python per kernel GPU
- Licenza
- MIT
- Codice sorgente
- github.com/triton-lang/triton
DSL Python per scrivere kernel CUDA: lo ha creato Tillet in OpenAI. Alimenta FlashAttention, torch.compile di PyTorch 2 e gran parte dell'addestramento moderno degli LLM.
La proposta: scrivere i kernel a livello Python (senza gestire a mano memoria condivisa, bank e warp), mentre il compilatore Triton genera PTX competitivo. Tri Dao (FlashAttention) ha scritto sia versioni Cutlass sia versioni Triton: Triton ha vinto in leggibilità. Il supporto ad AMD ROCm è arrivato nel 2024. Da non confondere con Nvidia Triton Inference Server, una cosa completamente diversa.