llama.cpp
Daha fazla bilgi
- Yaratıcı
- Georgi Gerganov
- Çıkış
- Tür
- LLM çıkarım motoru (C++)
- Lisans
- MIT
- Kaynak kod
- github.com/ggerganov/llama.cpp
LLM çıkarımının saf C++ gerçekleştirmesi — Llama, Mistral, Gemma ve diğerlerini Python ya da PyTorch olmadan CPU’da, GPU’da (CUDA, Metal, Vulkan, ROCm) veya karışık çalıştırır.
Georgi Gerganov’un hobi projesi (Mart 2023) tüm “yerel LLM” ekosisteminin temeli oldu. GGUF’u (kendini tanımlayan, nicemlenmiş model dosyası) tanımladı; 1,5–8 bit nicemleme, KV önbellek nicemlemesi, spekülatif kodlama ve mmap ile yüklemeyi destekler.
Ollama, LM Studio, Jan ve çoğu yerel LLM arayüzü llama.cpp üzerine kuruludur. Tek kullanıcılı masaüstünde vLLM/SGLang’ı geçer; toplu sunucu verimliliğinde onlara yenilir.