bitsandbytes
Biblioteka, dzięki której uruchamianie dużych modeli na jednej konsumenckiej karcie graficznej stało się normą. Autor: Tim Dettmers; znana z jednej linijki: load_in_4bit=True.
Zaczęło się od 8-bitowych optymalizatorów, które zmniejszały pamięć na stan Adama czterokrotnie, potem przyszło LLM.int8(), które kwantyzuje wagi do ośmiu bitów, ale wyciąga wartości odstające i liczy je w wyższej precyzji, a następnie NF4 — format czterobitowy, w którym poziomy rozmieszczono zgodnie z rozkładem normalnym, bo wagi sieci neuronowych mają rozkład w przybliżeniu normalny. Połączenie NF4 z adapterami to QLoRA, dzięki któremu dostrajanie modeli z dziesiątkami miliardów parametrów stało się możliwe na karcie z 24 GB. Integracja z Hugging Face Transformers zrobiła z tej techniki ustawienie domyślne, a nie przypadek szczególny.