VRAM
A memória da placa de vídeo — define o tamanho dos modelos de ML que você roda localmente e a resolução das texturas que cabem num jogo.
GPUs de consumo: 8 a 24 GB. Datacenter: H100 com 80 GB, B200 com 192 GB. Regra prática para LLMs: 2 GB de VRAM por bilhão de parâmetros em fp16, 0,5 GB em 4 bits. Estourou a VRAM, vai para a RAM do sistema, e aí fica muito lento.