Hierarquia de cache
Os níveis empilhados de cache, cada vez maiores mas cada vez mais lentos, entre o núcleo da CPU e a memória principal (RAM). Cada nível é um equilíbrio entre tamanho e velocidade, pensado para cobrir o enorme abismo entre a velocidade do processador e a da memória.
O problema (a "parede de memória"): a CPU é ordens de grandeza mais rápida que a RAM — sem cache, ela ficaria constantemente esperando centenas de ciclos por dados. A solução é uma pirâmide de níveis de cache: registradores (mais rápidos, menores), L1 (alguns kB por núcleo, ~4 ciclos), L2 (centenas de kB a MB, ~12 ciclos), L3 (dezenas de MB, compartilhado entre núcleos, ~40 ciclos), depois a RAM (~centenas de ciclos). A ideia se apoia na localidade: programas tendem a reutilizar dados usados recentemente (temporal) e dados vizinhos (espacial), então um cache pequeno e rápido já cobre a maior parte dos acessos. Escolhas de design por nível: tamanho, associatividade, inclusivo/exclusivo e como são compartilhados. O cache costuma ser o fator isolado mais importante para o desempenho real. A base de toda a gestão de memória moderna.