GGUF
Formato di file (successore di GGML) che impacchetta in un unico file modelli linguistici quantizzati, pensato per llama.cpp e l'esecuzione locale. Lo standard di fatto per distribuire modelli eseguiti su hardware personale.
Un file GGUF contiene i pesi (a qualsiasi livello di quantizzazione, per esempio Q4_K_M, Q5_K_S, Q8_0), l'architettura e tutti i metadati (tokenizer, iperparametri) in un solo pacchetto: si scarica un file e lo si esegue. Supporta l'esecuzione in parte su CPU e in parte su GPU (l'«offloading» dei livelli), così si possono far girare anche modelli più grandi della memoria della GPU. La sigla Q4_K_M e simili indica i bit e lo schema di quantizzazione, cioè il compromesso tra dimensione e qualità. Ecosistema: Hugging Face è piena di conversioni GGUF, eseguite da llama.cpp, Ollama, LM Studio e Jan. Si distingue dai formati orientati alla GPU (safetensors + AWQ/GPTQ per vLLM). È la spina dorsale del movimento degli LLM locali.