Kwantyzacja
Zmniejszanie modelu ML przez zapis wag na mniejszej liczbie bitów — z 32-bitowych liczb zmiennoprzecinkowych na 8-bitowe całkowite, a nawet 4-bitowe.
Cztery razy mniej pamięci, cztery razy szybsza inferencja, niewielka utrata jakości. Dzięki temu model 70B da się uruchomić na karcie do gier. Za tym stoją GGUF, AWQ i GPTQ.