Quantisierung
Ein ML-Modell verkleinern, indem die Gewichte in weniger Bits gespeichert werden — 32-Bit-Floats werden zu 8-Bit-Ints oder sogar 4-Bit.
4x weniger Speicher, 4x schnellere Inferenz, bei geringem Qualitätsverlust. Macht es möglich, 70B-Modelle auf einer Gaming-GPU laufen zu lassen. Die Vorgeschichte von GGUF, AWQ, GPTQ.