CPUの高速化、というよりは低速化を防止する技術、キャッシュメモリ

キャッシュメモリを一言でまとめるなら

キャッシュメモリとは、コンピュータの世界でさまざまなデバイス間の速度の違いによる悪影響を抑えるためのバッファ(緩衝材)です。CPUのお話なら、圧倒的に高速になってしまったCPU本体と、CPUから見るとすごく遅いメインメモリのギャップの悪影響を抑えるための仕組みです。

速くなりすぎてしまったCPU

今のほとんどすべてのコンピュータのCPUの性能はキャッシュメモリにとても大きく依存しています。

これは何十年もの間、CPU自体の性能向上のスピードとメインメモリに使われるメモリチップの性能向上のスピードに大きな差があったために、CPUの性能とメモリの性能に大きな差が出来てしまったことが原因です。

性能が不足しているメインメモリによる悪影響をキャッシュメモリで抑制しようとしています。

これまで主に使われてきたメモリチップの基本構造には大きく分けると2つの種類があります。トランジスタなどを組み合わせたロジック回路で情報を記録するSRAMと、(極々単純言うと)極小のコンデンサに貯めた電気で情報を記録するDRAMです。

回路の構成がシンプルで容量を大きくするのが楽なのはDRAMのほうなので、大容量のメモリを必要とするようになった現在のコンピュータではメインメモリは基本すべてDRAMを使うようになっています。

ところがDRAMにも弱点があってSRAMよりも動作速度を上げにくいデバイスになっています。ここの部分がネックになってメモリの読み書きの速度がCPUの性能向上について行けていません。

パソコン用CPUであってもメインメモリの読み書きが発生する時に何の工夫も無しだと、何十クロックもその処理が終わるのを待つことになって性能ががた落ちしてしまいます。

この悪影響を抑えるために使われるのがキャッシュメモリです。

高速なメモリにメインメモリの中身のコピーを取っておく

キャッシュメモリの考え方を一言でまとめると、メインメモリよりもずっと高速に動作出来る別枠のメモリにメインメモリのよく使う内容のコピーを取っておく、というようなイメージになります。

かつては集積度の関係からキャッシュメモリをCPUに統合出来ませんでしたが、今は製造プロセスの微細化による余裕が出来たのと、外付けのメモリチップでは速度的にまったく不足なことが理由で基本すべてのCPUのキャッシュメモリはCPUチップに内蔵されています。

そして内蔵されたキャッシュメモリは高速で動作出来るSRAMで構成されていて、CPUのコアとかなり密に結合されています。

キャッシュメモリの容量が大きいとその分、速度は落ちる

キャッシュメモリに保存されている内容はメインメモリのコピーですから、その内容がメインメモリのどの場所にあるものかを示す情報(＝タグ)を持っておかないといけません。

キャッシュメモリの内容はあくまでコピーなので、更新があったときにはどこかのタイミングできちんとメインメモリに内容を書き戻さなくてはいけませんから。

メインメモリアクセスの命令が来たときにタグの情報を走査して対応するコピーがあるキャッシュメモリの読み書きを行ないますので、キャッシュメモリの容量が大きくなるとその分、タグの情報をたどる処理も多くなりアクセスするスピードも落ちます。

このためどれだけ優秀な仕組みを使ったキャッシュメモリでも、基本、容量が大きいほどスピードは落ちてしまいます。

また、最新のCPUになるとCPUの速度とメインメモリの速度差が大きくなりすぎてしまっているため、1段階のキャッシュメモリではその速度差の悪影響を埋め切ることが出来なくなっています。

ですので対策のために最新のCPUは3段階ぐらいのキャッシュメモリを搭載するようになりました。

容量が小さいけれどものすごく高速な1次キャッシュ、それよりは容量が大きいけれどアクセススピードは少し劣る2次キャッシュ、もっと大容量ですが速度はより劣る3次キャッシュ、のような形です。

もちろん3次キャッシュでも、メインメモリを直接見に行くよりはずっと処理が高速なのは言うまでもありません。

キャッシュヒット率

CPUの中に作り込めるキャッシュメモリの容量にはどうしても限りがあります。3000番台のRyzenシリーズは非常に大容量の3次キャッシュを持っていますが、それでも容量は30MB程度。メインメモリのサイズとは比較になりません。

キャッシュメモリに使いたいプログラム、データのコピーが載っていることを「キャッシュにヒットする」と表現します。CPUが高速に動作し続けるためには、キャッシュメモリに必要なデータやプログラムが出来るだけ高い確率で載っている必要があります。

ただ実際のプログラムの動作の中でよく使われるプロブラムコード、データは大きく偏っていて一部だけが繰り返し使われやすいことが知られています。キャッシュメモリでも特別な手法を使わずとも、繰り返し使われるデータ・プログラム、最近使われたデータ・プログラムを優先してキャッシュメモリに残すようにすることでかなり高いヒット率が得られるようになっています。