Prefetcher
Een mechanisme dat voorspelt welke data de cpu binnenkort nodig heeft en die vooraf in de cache laadt — voordat erom gevraagd wordt. Doel: de geheugenlatency verbergen, zodat de data klaarstaat zodra de instructie komt en een cache miss uitblijft.
Werking: hardware-prefetchers volgen geheugentoegangspatronen en extrapoleren. De eenvoudigste herkennen sequentiële toegang (lees je regel N, haal dan N+1 op); geavanceerdere detecteren stride-patronen (toegang met vaste stap, bijvoorbeeld om de 64 bytes — gebruikelijk in lussen over arrays) of zelfs onregelmatige patronen. Is het patroon herkend, dan worden toekomstige regels op de achtergrond opgehaald terwijl de cpu doorwerkt. Er bestaat ook software-prefetch (compiler of programmeur voegt expliciete prefetch-instructies toe). Nadeel: agressief prefetchen kan geheugenbandbreedte verspillen en de cache vervuilen met data die nooit wordt gebruikt als de gok fout was. Voor geheugenintensieve workloads is een goede prefetcher vaak cruciaal.