GGUF
Formato de arquivo (sucessor do GGML) que empacota modelos de linguagem quantizados em um único arquivo, criado para o llama.cpp e para execução local. O padrão de fato para distribuir modelos que entusiastas rodam no próprio hardware.
Um arquivo GGUF traz os pesos (em qualquer nível de quantização, como Q4_K_M, Q5_K_S ou Q8_0), a arquitetura e todos os metadados (tokenizador, hiperparâmetros) em um só pacote: baixou um arquivo, rodou. Permite executar parte do modelo na CPU e parte na GPU ("offloading" de camadas), o que viabiliza até modelos maiores que a memória da placa de vídeo. Os nomes Q4_K_M e afins indicam os bits e o esquema de quantização (equilíbrio entre tamanho e qualidade).
Ecossistema: o Hugging Face está cheio de conversões em GGUF, executadas por llama.cpp, Ollama, LM Studio e Jan. Difere dos formatos voltados a GPU (safetensors + AWQ/GPTQ para o vLLM). É a espinha dorsal do movimento de LLMs locais.