GGUF
Ein Dateiformat (Nachfolger von GGML), das quantisierte Sprachmodelle in einer einzigen Datei verpackt, entworfen für llama.cpp und die lokale Ausführung. De-facto-Standard für Modelle, die Hobbyisten auf eigener Hardware betreiben.
Eigenschaften: Eine GGUF-Datei enthält Gewichte (in beliebiger Quantisierungsstufe, z. B. Q4_K_M, Q5_K_S, Q8_0), Architektur und alle Metadaten (Tokenizer, Hyperparameter) in einem Paket → eine Datei herunterladen und ausführen. Unterstützt das teilweise Ausführen auf CPU und GPU ("Offloading" einzelner Schichten), sodass sogar Modelle größer als der GPU-Speicher laufen können. Die Benennung Q4_K_M usw. gibt Bits und Quantisierungsschema an (Abwägung zwischen Größe und Qualität). Ökosystem: Hugging Face voller GGUF-Konvertierungen, ausgeführt von llama.cpp, Ollama, LM Studio, Jan. Unterscheidet sich von GPU-fokussierten Formaten (safetensors + AWQ/GPTQ für vLLM). Das Rückgrat der lokalen-LLM-Bewegung. Gehört zusammen mit Quantisierung und llama.cpp.