bitsandbytes
La libreria che ha reso normale far girare modelli grandi su una sola scheda grafica consumer. Scritta da Tim Dettmers e nota per una riga sola: load_in_4bit=True.
Cominciò con gli ottimizzatori a 8 bit, che riducono a un quarto la memoria per lo stato di Adam; proseguì con LLM.int8(), che quantizza i pesi a otto bit ma isola i valori anomali statistici e li calcola a precisione maggiore; poi NF4, un formato a quattro bit i cui livelli sono distribuiti secondo la distribuzione normale, perché i pesi delle reti neurali sono approssimativamente normali. Combinare NF4 con gli adapter dà QLoRA, che ha reso fattibile il fine-tuning di modelli con decine di miliardi di parametri su una scheda da 24 GB. L'integrazione in Hugging Face Transformers ha trasformato la tecnica da caso speciale a impostazione predefinita.