llama.cpp
詳細情報
- 作成者
- ゲオルギ・ゲルガノフ
- 発表
- 2023年3月10日
- 種別
- LLM推論エンジン（C++）
- ライセンス
- MIT
- ソースコード
- github.com/ggerganov/llama.cpp
LLM推論の純C++実装。PythonもPyTorchも使わず、Llama、Mistral、GemmaなどをCPU、GPU（CUDA、Metal、Vulkan、ROCm）、あるいはその併用で動かす。
ゲオルギ・ゲルガノフが2023年3月に始めた趣味のプロジェクトが、「ローカルLLM」エコシステム全体の土台になった。自己記述的な量子化モデルファイルであるGGUF形式を定め、1.5～8ビットの量子化、KVキャッシュの量子化、投機的デコーディング、mmapロードに対応する。
Ollama、LM Studio、Janをはじめ、ローカルLLMのUIの大半はllama.cppの上に作られている。単一ユーザーのデスクトップ利用ではvLLMやSGLangに勝るが、バッチ処理のサーバースループットでは負ける。