一般に、すべてのCPU、シングルチップのマイクロプロセッサ、マルチチップの実装は、以下のステップを実行することによってプログラムを実行します。
- 命令を読み、それを解読する。
- 命令の処理に必要な関連データを検索する。
- インストラクションを処理する。
- 結果を書き出す。
この単純に見える一連のステップを複雑にしているのは、キャッシュ、メインメモリ、ハードディスクなどの不揮発性ストレージを含むメモリ階層（プログラムの命令やデータがある場所）が、常にプロセッサ本体より遅いという事実である。ステップ(2)では、データがコンピュータバス上に到着するまでの間に、しばしば遅延（CPU用語ではしばしば「ストール」と呼ばれる）が発生する。この遅延をできるだけなくすための設計が盛んに研究されてきた。長年にわたり、より多くの命令を並列に実行し、プログラムの実効速度を向上させることが設計の中心的な目標となってきた。そのため、複雑な論理構造、回路構造を採用した。かつては、このような技術は回路量が多いため、高価なメインフレームやスーパーコンピュータにしか実装できなかった。しかし、半導体の製造が進むにつれて、これらの技術を1つの半導体チップに実装できるようになりました。
以下では、最近のCPUに共通するマイクロアーキテクチャの技術についてサーベイします。
命令セット選択
どの命令セットアーキテクチャを使用するかの選択は、高性能デバイスの実装の複雑さに大きく影響します。長年にわたり、コンピュータ設計者は、命令セットの複雑さに設計者の労力と時間を費やすのではなく、性能を向上させる機能に設計者の労力と時間を費やすことで、より高性能な実装を可能にするために、命令セットの簡素化に全力を注いできたのです。
命令セット設計は、CISC型、RISC型、VLIW型、EPIC型と進歩してきた。データ並列を扱うアーキテクチャには、SIMDやベクターがある。
命令パイプライン化
性能向上のための最初の、そして最も強力なテクニックの1つが、命令パイプラインの使用です。初期のプロセッサ設計では、1つの命令に対して上記のすべてのステップを実行した後に次の命令に移っていました。例えば、命令のデコード回路は実行中にアイドル状態になるなど、プロセッサ回路の大部分はどのステップでもアイドル状態になっていた。
パイプラインは、多数の命令を同時に処理することで性能を向上させる。同じ基本的な例では、プロセッサは、最後の命令が結果を待っている間に、新しい命令のデコード（ステップ1）を開始することになる。これにより、一度に最大4つの命令が「飛行中」になり、プロセッサは4倍速く見えるようになる。1つの命令が完了するのにかかる時間は同じだが（それでも4つのステップがある）、CPU全体としては命令の「破棄」がはるかに速く、より高いクロック速度で動作させることができるのである。
キャッシュ
チップ製造技術の向上により、より多くの回路を同じチップに搭載できるようになり、設計者はその活用方法を模索し始めた。その中で、最も一般的な方法の1つが、増え続けるキャッシュメモリをオンチップに追加することであった。キャッシュは非常に高速なメモリで、メインメモリとのやり取りに比べれば、数サイクルでアクセスできるメモリである。CPUには、キャッシュの読み書きを自動化するキャッシュコントローラが搭載されており、データがすでにキャッシュにある場合は単に「表示」されるが、ない場合はキャッシュコントローラがデータを読み込む間、プロセッサは「停止」させられる。
RISCデザインは1980年代半ばから後半にかけてキャッシュを追加し始めましたが、多くの場合、合計でわずか4キロバイトでした。この数は時間とともに増加し、現在では一般的なCPUは約512KB、より強力なCPUは1、2、あるいは4、6、8、12MBを搭載し、複数のメモリ階層に編成されている。一般に、キャッシュが多いほど速度が上がると言われている。
キャッシュとパイプラインの相性は抜群だったのです。以前は、オフチップ・キャッシュメモリのアクセスレイテンシよりも高速に動作するパイプラインを構築することはあまり意味がなかったのです。代わりにオンチップのキャッシュメモリを使えば、パイプラインはキャッシュのアクセスレイテンシよりもはるかに短い時間で動作することができるのである。このため、プロセッサの動作周波数は、オフチップメモリの動作周波数よりもはるかに速い速度で向上させることができた。
分岐予測・投機実行
命令レベルの並列処理による性能向上を阻むのは、パイプラインのストールと分岐によるフラッシュです。プロセッサの命令デコーダが条件分岐命令に遭遇したことを確認してから、決定したジャンプレジスタの値を読み出すまでに、数サイクルの間パイプラインがストールする可能性がある。平均すると、実行される命令の5回に1回は分岐なので、失速の度合いも高い。さらに、分岐が行われた場合は、パイプラインにあった後続の命令をすべてフラッシュする必要があるため、さらに悪化する。
このような分岐ペナルティを軽減するために、分岐予測や投機的実行といった技術が使われている。分岐予測は、特定の分岐が行われるかどうかをハードウェアが経験的に推測するものです。この推測により、ハードウェアはレジスタの読み込みを待たずに命令をプリフェッチすることができる。投機的実行は、さらに強化されたもので、分岐を行うかどうかが判明する前に、予測されたパスに沿ったコードを実行するものである。
アウトオブオーダー実行
キャッシュを追加することで、メインメモリ階層からのデータ取り込み待ちによるストールの頻度や時間は減少しますが、ストールを完全になくすことはできません。初期の設計では、キャッシュミスが発生すると、キャッシュコントローラはプロセッサをストールさせて待機させることになります。もちろん、その時点でキャッシュ内のデータが利用可能な他の命令がプログラム内に存在する可能性もある。アウトオブオーダー実行は、古い命令がキャッシュで待機している間に、準備のできた命令を処理し、結果を並べ替えて、すべてがプログラムされた順序で起こったように見せかけるものである。
スーパースカラ
しかし、半導体の製造技術が向上し、より多くの論理ゲートを使用できるようになった。
上記の概要では、プロセッサは一度に1つの命令の一部を処理する。複数の命令を同時に処理できれば、コンピュータのプログラムはより高速に実行される。そこで、ALUなどの機能単位を複製して実現したのが、スーパースカラ型プロセッサである。機能単位の複製が可能になったのは、単一命令プロセッサの集積回路（「ダイ」と呼ばれることもある）面積が、確実に製造できる限界を超えなくなってからである。1980年代後半になると、スーパースカラ設計が市場に出回るようになった。
最近の設計では、2つのロードユニット、1つのストア（多くの命令は結果を保存しない）、2つ以上の整数演算ユニット、2つ以上の浮動小数点ユニット、そして多くの場合、ある種のSIMDユニットが見られるのが一般的です。命令発行ロジックは、メモリから膨大な命令リストを読み込んで、その時点でアイドル状態にあるさまざまな実行ユニットに引き渡すことで複雑さを増していく。そして、その結果は最後に集められ、再順序付けされる。
レジスタ名変更
レジスタ名変更とは、プログラム命令で同じレジスタを再利用することにより、不要な直列実行を避けるための技術である。同じレジスタを使用する命令群があった場合、一方の命令群を先に実行し、もう一方の命令群にレジスタを譲りますが、もう一方の命令群に別の類似したレジスタを割り当てれば、両方の命令群を並列に実行することができます。
マルチプロセッシングとマルチスレッド
CPUの動作周波数とDRAMのアクセス時間との差が大きくなり、1つのプログラム内で命令レベルの並列性（ILP）を高める技術では、メインメモリからのデータ取り込み時に発生する長いストール（遅延）を克服することはできなかった。また、より高度なILP技術に必要なトランジスタ数の多さと動作周波数の高さは、もはや安価に冷却できないレベルの電力損失を必要とした。こうした理由から、新しい世代のコンピューターでは、単一のプログラムやプログラムスレッドの外側に存在する、より高度な並列処理を利用するようになったのです。
この流れは「スループットコンピューティング」と呼ばれることもあります。この考え方は、メインフレーム市場でオンライントランザクション処理が、1つのトランザクションの実行速度だけでなく、同時に大量のトランザクションを処理する能力を重視していたことに端を発しています。ネットワーク・ルーティングやWebサイト・サービスのようなトランザクション・ベースのアプリケーションがここ10年で大幅に増加したため、コンピュータ業界は容量とスループットの問題を再び強調するようになりました。
この並列性を実現する手法の一つが、複数のCPUを搭載したコンピュータシステムであるマルチプロセッシングシステムです。かつてはハイエンドのメインフレームに限られていたが、現在では小規模（2〜8個）マルチプロセッサのサーバーが中小企業市場向けに一般的になっている。大企業では、大規模（16〜256個）マルチプロセッサーが一般的である。パソコンでも、1990年代からマルチCPUのものが登場している。
半導体技術の進歩によりトランジスタのサイズが小さくなり、複数のCPUを同一シリコンチップ上に実装したマルチコアCPUが登場した。当初は、よりシンプルで小型のCPUを搭載することで、1つのシリコンチップに複数のCPUを搭載できる組み込み市場をターゲットとしたチップで使用されていた。2005年には、半導体技術により、デュアルハイエンド・デスクトップCPUのCMPチップの大量生産が可能になった。UltraSPARC T1のように、1つのシリコンに多くのプロセッサを搭載するために、よりシンプルな（スカラー、インオーダー）設計を採用しているものもある。
また、最近では、マルチスレッドという手法も普及している。マルチスレッドでは、プロセッサが低速なシステムメモリからデータを取得する必要がある場合、データの到着を待つ代わりに、プロセッサは実行準備が整った別のプログラムやプログラムスレッドに切り替わります。これは、特定のプログラム/スレッドを高速化するわけではありませんが、CPUがアイドル状態である時間を短縮することで、システム全体のスループットを向上させることができます。
概念的には、マルチスレッドはOSレベルでのコンテキストスイッチと同じです。違いは、マルチスレッドCPUは、通常コンテキストスイッチが必要とする数百、数千のCPUサイクルの代わりに、1CPUサイクルでスレッドスイッチを行なえることです。これは、アクティブなスレッドごとに状態ハードウェア（レジスタファイルやプログラムカウンタなど）を複製することで実現されている。
さらに強化されたのが、同時マルチスレッドです。この技術により、スーパースカラCPUは同じサイクルで異なるプログラム/スレッドの命令を同時に実行することができるようになります。
