Kwantisatie (LLM)
De gewichten van een model met lagere numerieke precisie opslaan (bijvoorbeeld 4 of 8 bits in plaats van 16) om geheugengebruik te verlagen en inferentie te versnellen. Daardoor draaien grote modellen op bescheiden hardware, met een klein kwaliteitsverlies.
Werking: de gewichten worden van floating point (FP16/BF16) afgebeeld op minder bits (INT8, INT4 of formaten als NF4). Een 70B-model dat in FP16 ~140 GB nodig heeft, krimpt in 4-bit tot ~35 GB en past dan op één GPU. Winst: minder geheugen, sneller (minder data om te verplaatsen), goedkopere inferentie. Prijs: enig nauwkeurigheidsverlies dat groeit naarmate agressiever wordt gekwantiseerd (4-bit is vaak een goede balans; bij 2-bit wordt het duidelijk merkbaar). Methoden: GPTQ, AWQ (achteraf, slim in het herkennen van gevoelige gewichten) en het GGUF-formaat voor llama.cpp. Te onderscheiden van QLoRA (dat kwantiseert voor TRAINING); dit gaat over inferentie. Een van de belangrijkste technieken om LLM's lokaal te draaien. Verwant aan GGUF en QLoRA.