CPU内で、キャッシュメモリは頻繁に使われる情報への低遅延アクセスを提供します。システムメインメモリ(通常はDRAM)へのアクセスはCPUの動作に比べて比較的遅いため、キャッシュメモリはプログラムの実行を大幅に高速化できます。通常、キャッシュメモリはCPUと並んでSRAMとして統合され、独立した個別デバイスとして実装されることはありません。

CPU内で動作するプロセスのいずれかがシステムメモリへのアクセスを必要とする場合、読み取りまたは書き込み要求はまずキャッシュに対してチェックされます。キャッシュには最近メモリから取得されたデータと対応するアドレス(タグと呼ばれる)が含まれています。新しい読み書き操作の要求されたアドレスがキャッシュ内のタグと一致する場合、それはキャッシュヒットと呼ばれます。CPUはキャッシュメモリを使ってリクエストを処理し、実行を継続できます。要求されたアドレスが見つからない場合は、キャッシュミスと呼ばれます。

0.0001pt 5pt;line-height: 118%;" class="normal">読み取りミスはCPU実行再開前にキャッシュを更新しなければならないため、パフォーマンス面でコストがかかります。書き込みミスはデータがキャッシュに書き込まれるためあまり影響しませんが、そのデータはいずれメインメモリにコピーされる必要があります。キャッシュからメインメモリへの転送をいつ行うかの決定はキャッシュ管理の一側面です。