キャッシュメモリ完全ガイド：CPUキャッシュの仕組み・階層・性能最適化を徹底解説

キャッシュメモリーとは

キャッシュメモリー（キャッシュ）は、CPUと主記憶（DRAM）や他の低速ストレージの間に置かれる高速な小容量メモリです。CPUが必要とするデータや命令のコピーを短時間で提供することで、メモリアクセスの遅延（レイテンシ）と帯域のギャップを埋め、システム全体の性能を向上させます。一般に「キャッシュ」と言えばCPUキャッシュを指しますが、OSやブラウザ、CDNなどにもキャッシュは存在し、役割は同じく「高速なコピー保持」です。

なぜキャッシュが必要か（メモリ階層と局所性）

現代のコンピュータでは、CPUの処理速度は非常に高い一方で、DRAM よるデータ供給は相対的に遅く、これを「メモリ壁」と呼ぶことがあります。キャッシュは高速（だが高コストで小容量な）SRAMを用いることで、頻繁に参照されるデータを近くに置き、以下の「局所性」を利用してヒット率を高めます。

• 時間的局所性（Temporal locality）：一度参照されたデータは近い将来に再度参照される傾向がある。
• 空間的局所性（Spatial locality）：あるアドレスが参照されると、その近傍アドレスも参照されやすい。

キャッシュ階層（L1/L2/L3など）

CPUキャッシュは階層化されています。典型的には各コアにプライベートなL1（命令・データ）、L2、そしてコア間で共有されるL3（あるいはL2が共有の場合もある）という構成です。一般的なサイズ・遅延の目安は次の通りですが、設計や世代によって大きく異なります。

• L1：数十KB（たとえば32KB程度）、アクセスは数サイクル。
• L2：数百KB〜数MB、アクセスは数〜十数サイクル。
• L3：数MB〜数十MB、アクセスは数十サイクル。

それぞれ容量と遅延・帯域のトレードオフがあり、L1は最速だが小さく、下位レベルほど大容量で遅くなります。

キャッシュの基本要素

キャッシュの動作を理解するための主要概念は次の通りです。

• キャッシュライン（ブロック）：データの転送単位。一般に32〜256バイト（典型は64B）。空間的局所性を利用する。
• タグ・インデックス・オフセット：アドレスはキャッシュのインデックス（どのセットか）とタグ（正しいブロックか）に分けられる。
• 連想度（アソシアティビティ）：1-way（ダイレクトマップ）、N-way セットアソシアティブ、完全連想。連想度が高いと衝突（コンフリクト）によるミスが減るがハードウェアコストが上がる。
• 置換政策：どのラインを追い出すか（LRU、FIFO、ランダムなど）。
• 書き込み方式：write-through（即時メモリへ書き込み）とwrite-back（キャッシュ内に書き込み、追い出し時にメモリへ反映）。
• 書き込み確保（write allocate）vs 非確保（no-write-allocate）：書き込み時にラインをキャッシュに読み込むかどうか。

キャッシュミスの分類と性能指標

キャッシュミスは大きく次の3種に分けられます。

• コンパルソリ（必然的）ミス：初回参照で発生する（cold miss）。
• キャパシティミス：キャッシュ容量不足で必要なデータが収まらない。
• コンフリクトミス（衝突）：マッピングの制約（低連想度など）により異なるデータが同じセットを奪い合う。

性能指標としてはヒット率／ミス率の他、平均メモリアクセスタイム（AMAT）が重要です。単純化した式は次の通りです。

AMAT = ヒット時間 + ミス率 × ミスペナルティ（ミス時の追加遅延）

マルチコアとキャッシュの整合（コヒーレンシ）

複数コアが同じメモリ領域を共有する場合、各コアのキャッシュ間でデータの一貫性（キャッシュコヒーレンシ）を保つ必要があります。代表的なプロトコルに MESI（Modified, Exclusive, Shared, Invalid）などがあり、状態遷移により読み書きの制御を行います。

実務上の問題としては「False Sharing（偽共有）」があり、異なるデータを別スレッドがアクセスしていても同じキャッシュラインに収まると頻繁なコヒーレンシトラフィックが発生し性能を大きく落とします。

ソフトウェア設計で考慮すべき点

プログラマはキャッシュの性質を考慮することで性能を改善できます。代表的手法：

• 局所性を高めるデータ配置：連続メモリアクセスを促す配列の使用、構造体配列（AoS）と配列の構造体（SoA）の選択。
• ループのブロッキング／タイル化：大きなデータ処理をキャッシュに収まるチャンクに分割する。
• プリフェッチ（ハードウェア/ソフトウェア）：先読みによってミスを減らす。ただし過剰プリフェッチは帯域浪費になる。
• False sharing の回避：スレッドが別々に書き込む変数を別ラインに配置する（パディングやアライメント）。
• メモリアクセスの順序最適化：ストライドアクセスを小さく保つ。

その他のキャッシュの例

「キャッシュ」はCPUだけでなくシステムの多くの層に存在します。

• TLB（Translation Lookaside Buffer）：ページテーブルの最近使われるエントリを保持するキャッシュ。
• OSのページキャッシュ：ディスクブロックをRAMに保持してI/Oを高速化。
• ブラウザキャッシュ、CDNなどのネットワークキャッシュ：Webコンテンツの配信を短縮する。

実装上の物理的要素とトレードオフ

CPUキャッシュは高速なSRAMで実装され、SRAMはDRAMよりも高速・高消費電力・高コストです。したがってキャッシュは小さく階層化されます。設計上は「容量」「レイテンシ」「帯域」「電力」「実装面積」のバランスをとる必要があります。また、インクルーシブ／エクスクルーシブ（下位キャッシュの内容が上位に含まれるか否か）など設計方針による性能影響もあります。

よくある誤解

• 「キャッシュは永続的な保存場所」ではない：キャッシュは一時的なコピーであり、障害や電源断でデータを保証するものではない。
• 「キャッシュ＝全部のデータ」ではない：キャッシュは必ずしも全データを持てず、ヒットしなければ遅いメモリアクセスが生じる。
• 「キャッシュは自動的に最適化されるが万能ではない」：ハードウェアの予測と管理にも限界があり、アルゴリズム次第で性能が大きく変わる。

まとめ

キャッシュメモリーは、CPUと遅い記憶装置の間の速度差を埋めるための不可欠な要素です。階層化されたキャッシュ設計、キャッシュライン・連想度・置換ポリシー・書き込み方式などのハードウェア技術と、データ局所性を意識したソフトウェア設計の両面から性能が決まります。マルチコア環境ではコヒーレンシ管理や偽共有の回避が重要であり、システム全体のパフォーマンス最適化にはキャッシュの理解が欠かせません。

参考文献

• CPU cache — Wikipedia
• Cache (computing) — Wikipedia
• Ulrich Drepper, "What Every Programmer Should Know About Memory" (PDF)
• MESI protocol — Wikipedia
• Intel 64 and IA-32 Architectures Software Developer’s Manual — Intel
• Cache replacement policies — Wikipedia
• The Linux Kernel documentation — kernel.org (各種キャッシュやページキャッシュに関する説明)