GGUF
Формат файла (преемник GGML) для упаковки квантованных языковых моделей в один файл; создан для llama.cpp и локального запуска. Де-факто стандарт для моделей, которые энтузиасты гоняют на своём железе.
Файл GGUF содержит веса (с любым уровнем квантования, например Q4_K_M, Q5_K_S, Q8_0), архитектуру и все метаданные (токенизатор, гиперпараметры) в одном пакете: скачал один файл — и запускай. Формат поддерживает частичный запуск на CPU и GPU («выгрузка» слоёв), так что можно запускать даже модели больше видеопамяти. Обозначения вроде Q4_K_M указывают разрядность и схему квантования (компромисс между размером и качеством). Экосистема: Hugging Face полон GGUF-конверсий, запускают их llama.cpp, Ollama, LM Studio, Jan. Отличается от форматов для GPU (safetensors + AWQ/GPTQ для vLLM). Опора движения локальных LLM.