TensorRT-LLM
La bibliothèque d'inférence de Nvidia pour les modèles de langage. Elle compile le modèle en un moteur optimisé, verrouillé sur une génération de GPU, une taille de lot et une précision données — et en échange, il est très difficile de la battre en débit.
Le gain vient du fait que la compilation voit le graphe entier : attention, normalisation et activation sont fusionnées en moins de lancements de noyaux, les poids sont quantifiés en FP8 ou INT4, et le parallélisme tensoriel entre plusieurs cartes est intégré au moteur. Le runtime pratique l'in-flight batching : les nouvelles requêtes sont glissées dans des lots déjà en cours au lieu d'attendre que la plus lente ait terminé. Le service passe généralement par Triton Inference Server. Le revers, c'est le flux de travail : chaque combinaison de modèle, de niveau de quantification et de matériel exige sa propre étape de build, qui prend du temps, et le moteur n'est pas portable. On choisit souvent vLLM à la place pour une raison simple : il démarre.