TensorRT-LLM
Nvidia's inferencebibliotheek voor taalmodellen. Het compileert het model tot een geoptimaliseerde engine die vastzit aan een bepaalde GPU-generatie, batchgrootte en precisie — en is daardoor op doorvoer bijna niet te verslaan.
De winst komt doordat compilatie de hele graaf ziet: attention, normalisatie en activatie worden samengevoegd tot minder kernel-aanroepen, gewichten worden gekwantiseerd naar FP8 of INT4 en tensorparallellisme over meerdere kaarten zit in de engine ingebakken. De runtime doet in-flight batching: nieuwe verzoeken worden ingevoegd in batches die al lopen, in plaats van te wachten tot de traagste klaar is. Serveren gebeurt meestal via Triton Inference Server. Het nadeel is de werkwijze: elke combinatie van model, kwantisatieniveau en hardware vraagt een eigen, tijdrovende buildstap, en de engine is niet overdraagbaar. Daarom wordt vaak voor vLLM gekozen, simpelweg omdat het start.