llama.cpp
Подробнее
- Создатель
- Georgi Gerganov
- Год
- Тип
- Движок инференса LLM (C++)
- Лицензия
- MIT
- Исходный код
- github.com/ggerganov/llama.cpp
Чистая C++-реализация инференса LLM — запускает Llama, Mistral, Gemma и другие на CPU, GPU (CUDA, Metal, Vulkan, ROCm) или на обоих сразу, без Python и PyTorch.
Хобби-проект Георгия Герганова (март 2023), ставший фундаментом всей экосистемы «локальных LLM». Определил формат GGUF (самодостаточный файл квантизированной модели), поддерживает квантизацию от 1,5 до 8 бит, квантизацию KV-кэша, спекулятивное декодирование и загрузку через mmap.
Ollama, LM Studio, Jan и большинство интерфейсов для локальных LLM построены поверх llama.cpp. Обгоняет vLLM/SGLang в сценарии одного пользователя на десктопе; уступает им в пакетной пропускной способности сервера.