TensorRT-LLM
Nvidiaの言語モデル向け推論ライブラリ。モデルを特定のGPU世代・バッチサイズ・精度に固定した最適化済みエンジンへコンパイルし、その代わりスループットでは極めて勝ちにくい。
速さの源は、コンパイルがグラフ全体を見渡せることにある。アテンション、正規化、活性化が融合されてカーネル起動が減り、重みはFP8やINT4に量子化され、複数カードにまたがるテンソル並列もエンジンに組み込まれる。ランタイムはin-flight batchingを行い、新しいリクエストを、すでに走っているバッチへ割り込ませる（最も遅いものの完了を待たない）。サービングは通常Triton Inference Server経由で行う。欠点はワークフローで、モデル・量子化・ハードウェアの組み合わせごとに時間のかかるビルドが必要で、エンジンは持ち運べない。vLLMがよく選ばれるのは、単に「すぐ動く」からである。