VRAM
グラフィックスカード上のメモリ。ローカルで動かせるMLモデルの大きさや、ゲームで読み込めるテクスチャの解像度を決める。
コンシューマ向けGPUは8〜24 GB、データセンター向けは H100 が80 GB、B200 が192 GB。LLMの目安は、fp16で10億パラメータあたり2 GB、4ビットなら0.5 GB。VRAMが足りなくなるとシステムRAMへスワップされ、極端に遅くなる。
グラフィックスカード上のメモリ。ローカルで動かせるMLモデルの大きさや、ゲームで読み込めるテクスチャの解像度を決める。
コンシューマ向けGPUは8〜24 GB、データセンター向けは H100 が80 GB、B200 が192 GB。LLMの目安は、fp16で10億パラメータあたり2 GB、4ビットなら0.5 GB。VRAMが足りなくなるとシステムRAMへスワップされ、極端に遅くなる。