llama.cpp
Meer info
- Ontwikkelaar
- Georgi Gerganov
- Jaar
- 2023
- Type
- LLM-inferentie-engine (C++)
- Licentie
- MIT
- Broncode
- github.com/ggerganov/llama.cpp
Pure C++-implementatie van LLM-inferentie: draait Llama, Mistral, Gemma en andere op CPU, GPU (CUDA, Metal, Vulkan, ROCm) of een mix, zonder Python of PyTorch.
Hobbyproject van Georgi Gerganov (maart 2023) dat de basis werd van het hele ecosysteem voor lokale LLM’s. Definieerde het GGUF-formaat (een zelfbeschrijvend, gequantiseerd modelbestand) en ondersteunt quantisatie van 1,5 tot 8 bit, KV-cachequantisatie, speculatief decoderen en mmap-laden.
Ollama, LM Studio, Jan en de meeste lokale LLM-interfaces zijn erop gebouwd. Wint van vLLM/SGLang voor één gebruiker op de desktop; verliest bij doorvoer van batches op een server.