GGUF
Een bestandsformaat (opvolger van GGML) om gequantiseerde taalmodellen in één bestand te verpakken, ontworpen voor llama.cpp en lokaal draaien. De de facto standaard voor modellen die hobbyisten op eigen hardware draaien.
Eigenschappen: een GGUF-bestand bevat de gewichten (op elk quantisatieniveau, bijvoorbeeld Q4_K_M, Q5_K_S, Q8_0), de architectuur en alle metadata (tokenizer, hyperparameters) in één pakket → één bestand downloaden en draaien. Het ondersteunt deels op de CPU en deels op de GPU draaien (“offloading” van lagen), waardoor ook modellen die groter zijn dan het GPU-geheugen te draaien zijn. De naamgeving Q4_K_M enzovoort geeft het aantal bits en het quantisatieschema aan (afweging tussen grootte en kwaliteit). Ecosysteem: Hugging Face staat vol GGUF-conversies, die draaien in llama.cpp, Ollama, LM Studio en Jan. Te onderscheiden van GPU-gerichte formaten (safetensors + AWQ/GPTQ voor vLLM). De ruggengraat van de lokale-LLM-beweging.