量子化（LLM）
モデルの重みを、16ビットではなく4ビットや8ビットといった低い数値精度で保持し、メモリ使用量を減らして推論を速くする手法。品質の低下はわずかで、大きなモデルを控えめなハードウェアで動かせるようになる。
仕組みは、重みを浮動小数点（FP16/BF16）からより少ないビット数（INT8、INT4、NF4のような形式）へ写像することである。FP16で約140GBを要する70Bモデルも、4ビットなら約35GBに縮み、GPU1枚に収まる。得られるのはメモリの削減、高速化（動かすデータが減る）、推論コストの低下。代償は一定の精度低下で、量子化を強めるほど大きくなる。4ビットはバランスの良い選択であることが多く、2ビットになると劣化がはっきり出始める。主な手法はGPTQ、AWQ（学習後に行い、敏感な重みを見極める）、そしてllama.cpp向けのGGUF形式である。学習のために量子化するQLoRAとは別物で、ここで扱うのは推論の話だ。LLMをローカルで動かすうえで、最も重要な技術のひとつである。GGUFやQLoRAとも関連が深い。