Multi-Head Latent Attention (MLA)
Eine Attention-Architektur (DeepSeek, 2024), die Key/Value auf einen kleinen latenten Vektor komprimiert, statt volle K/V pro Kopf zu cachen — was den KV-Cache noch stärker schrumpft als GQA. Einer der Gründe für DeepSeeks niedrige Inferenzkosten.
Idee: Statt vollständige Key- und Value-Vektoren zu speichern (wie bei MHA) oder Köpfe zu teilen (wie bei GQA), projiziert MLA K und V auf eine gemeinsame, niedrigrangige "latente" Repräsentation, die gecacht wird; die vollen K/V werden bei Bedarf spontan rekonstruiert. Ergebnis: ein deutlich kleinerer KV-Cache (DeepSeek berichtet von Größenordnungen weniger als bei MHA) → längerer Kontext, höherer Durchsatz und geringere Speicherkosten, bei gleichbleibender Modellqualität. Das war eine der Techniken, die es den DeepSeek-Modellen erlaubten, ungewöhnlich günstig zu laufen. Unterscheidet sich von GQA (das die Anzahl der KV-Köpfe reduziert), indem stattdessen der KV-Inhalt per Low-Rank-Projektion komprimiert wird. Einer der meistbeachteten Architekturfortschritte des Jahres 2024.