Kwantisatie
Een ML-model verkleinen door gewichten in minder bits op te slaan: van 32-bits floats naar 8-bits integers, of zelfs 4 bits.
Het geheugengebruik wordt een factor 4 kleiner en inferentie tot 4 keer sneller, tegen een geringe kwaliteitsdaling. Daardoor draaien modellen met 70 miljard parameters op een gaming-GPU. Het verhaal achter GGUF, AWQ en GPTQ.