TensorRT-LLM
Nvidia'nın dil modelleri için çıkarım kütüphanesi: modeli belirli bir GPU nesline, toplu iş boyutuna ve hassasiyete kilitli, optimize bir motora derler; karşılığında verimde geçilmesi çok zordur.
Kazanç, derlemenin tüm grafı görmesinden gelir: dikkat, normalleştirme ve aktivasyon daha az çekirdek çağrısına birleştirilir, ağırlıklar FP8 veya INT4'e nicemlenir, birden çok kart arasındaki tensör paralelliği motora gömülür. Çalışma zamanı "in-flight batching" yapar; yani yeni istekler, en yavaşın bitmesini beklemek yerine çalışmakta olan toplu işlere eklenir. Sunum genellikle Triton Inference Server ile yapılır.
Bedeli iş akışıdır: her model, nicemleme düzeyi ve donanım birleşimi zaman alan ayrı bir derleme adımı ister ve motor taşınabilir değildir. vLLM çoğu zaman sırf hemen çalıştığı için tercih edilir.