Dentro de una CPU, la memoria caché proporciona acceso de baja latencia a la información de uso frecuente. Debido a que el acceso a la memoria principal del sistema (generalmente DRAM) es relativamente lenta en comparación con el funcionamiento de la CPU, la memoria caché puede acelerar dramáticamente la ejecución del programa. Por lo general, la memoria caché se integra como SRAM junto con la CPU en lugar de implementarse como un dispositivo discreto aparte.

 

Cuando algunos de los procesos que se ejecutan dentro de la CPU necesitan tener acceso a la memoria del sistema, la solicitud de lectura o escritura primero se comprueba con la caché. La memoria caché contiene los datos recuperados recientemente de la memoria, junto con la dirección correspondiente (que se conoce como etiqueta). Si la dirección solicitada de la nueva operación de lectura o escritura coincide con una etiqueta en la caché, se denomina acierto de caché. La CPU puede utilizar la memoria caché para cumplir con la solicitud y continuar con la ejecución. Si la dirección solicitada no se encuentra, que se conoce como pérdida de caché.

 

Los errores de lectura son costosos en términos de rendimiento, ya que la caché debe actualizarse antes de reanudar la ejecución de la CPU. Los errores de escritura son menos importantes, puesto que los datos aún se escriben en la caché, aunque esos datos se tendrán que copiar fuera a la memoria principal en algún momento. La decisión de cuándo realizar dicha transferencia de la caché a la memoria principal es un aspecto de la administración de la caché.