TensorRT-LLM
Nvidias inferensbibliotek för språkmodeller. Kompilerar modellen till en optimerad motor som är låst till en viss GPU-generation, batchstorlek och precision — och som i gengäld är svår att slå i genomströmning.
Vinsten kommer från att kompileringen får se hela grafen: uppmärksamhet, normalisering och aktivering smälts ihop till färre kernelanrop, vikter kvantiseras till FP8 eller INT4, och tensorparallellism över flera kort bakas in i motorn. Körningen sköter in-flight batching, alltså att nya förfrågningar slussas in i pågående batchar istället för att vänta på att den långsammaste blir klar. Serveringen sker vanligtvis genom Triton Inference Server. Nackdelen är arbetsflödet: varje modell, kvantiseringsnivå och hårdvarukombination kräver ett eget byggsteg som tar tid, och motorn är inte portabel. vLLM väljs ofta istället för att det bara startar.