Квантизация (Quantization)
Сжатие ML-модели за счёт хранения весов в меньшем числе бит: из 32-битных чисел с плавающей точкой в 8-битные целые или даже 4-битные.
Памяти нужно в 4 раза меньше, инференс до 4 раз быстрее, а качество падает совсем немного. Именно поэтому модели на 70 млрд параметров можно запускать на игровой видеокарте. За этим стоят форматы и методы GGUF, AWQ, GPTQ.