GGUF
Un format de fichier (successeur de GGML) qui regroupe un modèle de langage quantifié dans un seul fichier, conçu pour llama.cpp et l'exécution locale. Le standard de fait pour distribuer les modèles que les amateurs font tourner sur leur propre matériel.
Un fichier GGUF contient les poids (à n'importe quel niveau de quantification, par ex. Q4_K_M, Q5_K_S, Q8_0), l'architecture et toutes les métadonnées (tokenizer, hyperparamètres) dans un seul paquet : on télécharge un fichier et on lance. Il permet une exécution partagée entre CPU et GPU (« déchargement » de couches), de sorte que même des modèles plus gros que la mémoire du GPU peuvent tourner. Le nom Q4_K_M et consorts indique le nombre de bits et le schéma de quantification (compromis entre taille et qualité).
Écosystème : Hugging Face regorge de conversions GGUF, exécutées par llama.cpp, Ollama, LM Studio, Jan. À distinguer des formats orientés GPU (safetensors + AWQ/GPTQ pour vLLM). L'épine dorsale du mouvement des LLM locaux, indissociable de la quantification et de llama.cpp.