bitsandbytes
De bibliotheek die het gewoon maakte om grote modellen op één consumentenvideokaart te draaien. Geschreven door Tim Dettmers en bekend om één regel: load_in_4bit=True.
Het begon met 8-bits optimizers die het geheugen voor de Adam-toestand tot een kwart terugbrachten, ging door met LLM.int8(), dat gewichten naar acht bits kwantiseert maar de statistische uitschieters apart haalt en in hogere precisie berekent, en daarna NF4: een vierbitsformaat waarvan de niveaus verdeeld zijn volgens de normale verdeling, omdat gewichten van neurale netwerken grofweg normaal verdeeld zijn. NF4 combineren met adapters is QLoRA, waarmee het finetunen van modellen met tientallen miljarden parameters haalbaar werd op een kaart van 24 GB. Door de integratie in Hugging Face Transformers werd de techniek een standaard in plaats van een uitzondering.