llama.cpp
Plus d'infos
- Créé par
- Georgi Gerganov
- Sortie
- Type
- Moteur d'inférence LLM (C++)
- Licence
- MIT
- Code source
- github.com/ggerganov/llama.cpp
Implémentation en C++ pur de l'inférence LLM — fait tourner Llama, Mistral, Gemma et d'autres sur CPU, GPU (CUDA, Metal, Vulkan, ROCm) ou un mélange des deux, sans Python ni PyTorch.
Projet personnel de Georgi Gerganov (mars 2023) devenu le socle de tout l'écosystème « LLM local ». A défini le format GGUF (un fichier de modèle quantifié auto-descriptif) et prend en charge la quantification de 1,5 à 8 bits, la quantification du cache KV, le speculative decoding, le chargement par mmap.
Ollama, LM Studio, Jan et la plupart des interfaces LLM locales reposent sur llama.cpp. Devant vLLM/SGLang pour un usage desktop mono-utilisateur ; derrière pour le débit en traitement par lots côté serveur.