VRAM
La memoria della scheda grafica: determina quanto grandi possono essere i modelli ML eseguiti in locale e quanto definite le texture nei giochi.
GPU consumer: 8-24 GB. Datacenter: H100 80 GB, B200 192 GB. Regola empirica per gli LLM: 2 GB di VRAM per miliardo di parametri in fp16, 0,5 GB a 4 bit. Esaurire la VRAM significa ripiegare sulla RAM di sistema, con prestazioni pessime.