Kwantyzacja (LLM)
Zapis wag modelu z niższą precyzją numeryczną (np. 4 lub 8 bitów zamiast 16), by zmniejszyć zapotrzebowanie na pamięć i przyspieszyć inferencję. Pozwala uruchamiać duże modele na skromnym sprzęcie — za cenę niewielkiej utraty jakości.
Mechanizm: wagi są mapowane z liczb zmiennoprzecinkowych (FP16/BF16) na mniej bitów (INT8, INT4 lub formaty jak NF4). Model 70B, który w FP16 potrzebuje ok. 140 GB, może skurczyć się do ok. 35 GB w 4 bitach → mieści się na jednej karcie. Zysk: mniej pamięci, szybciej (mniej danych do przesłania), taniej. Cena: pewna utrata dokładności, rosnąca wraz z agresywnością kwantyzacji (4 bity to często dobry kompromis; przy 2 bitach wyraźnie widać straty). Metody: GPTQ, AWQ (po treningu, z rozeznaniem, które wagi są wrażliwe) oraz format GGUF dla llama.cpp. Nie należy mylić z QLoRA (kwantyzacja na potrzeby TRENINGU); tu chodzi o inferencję. Jedna z najważniejszych technik uruchamiania LLM lokalnie.