Ein Cache-Speicher ermöglicht in einem CPU niedrige Latenzzeiten für häufig genutzte Informationen. Da der Zugang zu einem System-Hauptspeicher (normalerweise DRAM) relativ langsam ist im Vergleich zu einem CPU-Betrieb, kann ein Cache-Speicher die Geschwindigkeit des Programmablaufs drastisch erhöhen. Normalerweise ist ein Cache-Speicher, anstelle einer Implementierung als separates diskretes Gerät, als SRAM gemeinsam mit dem CPU integriert.

 

Wenn ein im CPU laufender Prozess Zugang zu dem Systemspeicher erfordert, wird die Lese- oder Schreibanfrage zuerst gegen das Cache geprüft. Das Cache beinhaltet gemeinsam mit der entsprechenden Adresse (die als Tag bekannt sind) Daten, die erst kürzlich aus dem Speicher generiert wurden. Wenn die gewünschte Adresse der neuen Lese- oder Schreibfunktion mit einem Tag in dem Cache übereinstimmt, wird dies als Cache-Treffer bezeichnet. Das CPU kann dann zur Erfüllung der Anfrage und Fortsetzung der Ausführung den Cache-Speicher verwenden. Wenn die gewünschte Adresse nicht gefunden wird, dann wird dies als Cache-Fehler bezeichnet.

 

Gelesene Fehler sind teuer hinsichtlich der Leistung, da das Cache vor der Zusammenfassung der CPU-Ausführung aktualisiert werden muss. Geschriebene Fehler sind weniger bedeutend, da die Daten noch immer in das Cache geschrieben werden, obwohl diese Daten dann in den Hauptspeicher herauskopiert werden müssen. Die Entscheidung darüber, wann diese Übertragung aus dem Cache in den Hauptspeicher gemacht wird, ist eine Frage des Cache-Managements.