Quantisierung (LLM)
Die Gewichte eines Modells mit geringerer numerischer Präzision speichern (z. B. 4 oder 8 statt 16 Bit), um den Speicherbedarf zu senken und die Inferenz zu beschleunigen. Macht es möglich, große Modelle auf bescheidener Hardware laufen zu lassen — bei einem kleinen Qualitätsverlust.
Mechanik: Die Gewichte werden von Gleitkommazahlen (FP16/BF16) auf weniger Bits abgebildet (INT8, INT4 oder Formate wie NF4). Ein 70B-Modell, das in FP16 rund 140 GB braucht, schrumpft in 4-Bit auf etwa 35 GB — passt damit auf eine einzelne GPU. Der Gewinn: weniger Speicher, mehr Tempo (weniger Daten zu bewegen), günstigere Inferenz. Der Preis: ein gewisser Genauigkeitsverlust, der mit aggressiverer Quantisierung wächst (4-Bit ist meist ein guter Kompromiss, bei 2-Bit wird es deutlich spürbar). Methoden: GPTQ, AWQ (Post-Training, gezielt für empfindliche Gewichte) sowie das GGUF-Format für llama.cpp. Zu unterscheiden von QLoRA, das für das TRAINING quantisiert — hier geht es um Inferenz. Eine der wichtigsten Techniken, um LLMs lokal zu betreiben.