Tensor Core
Spezialisierte Matrix-Multiplikations-Beschleuniger in Nvidia-GPUs. Eingeführt mit Volta (V100, 2017). Auf dem H100 liefern Tensor Cores den zehnfachen Deep-Learning-Durchsatz gegenüber gewöhnlichen FP32-CUDA-Cores — die Standard-„Rechenmaschine" für KI und ML.
Fest verdrahtete Matrixmultiplikation (4×4 oder größer) pro Takt. Mixed Precision ist Standard: Multiplikation in FP16/BF16, Akkumulation in FP32. Hopper (H100) ergänzte FP8 und Sparsity-Beschleunigung (Nullen werden übersprungen), Blackwell (B200) fügte FP4 hinzu. CUDA-Programme nutzen Tensor Cores über Bibliotheken (cuBLAS, cuDNN) oder direkte PTX-Instruktionen (mma.sync). AMD-Pendant: Matrix Cores in der CDNA-Architektur, Intel: XMX-Engines in Arc. Tensor Cores sind der Grund, warum ML-Workloads auf der jeweils neuesten GPU 5- bis 50-mal schneller laufen als auf der Vorgängergeneration.