GPGPU（GPUによる汎用計算）：仕組み、用途、プログラミングモデル

アーキテクチャと特性

GPUとCPUの違いは機能そのものよりも、設計上の重点にある。CPUは低レイテンシの単一スレッド性能と複雑な制御フローを重視するのに対し、GPUは大規模な並列性と高い演算スループットを重視する。GPUには多数の軽量コアがあり、これらは高速だが容量の限られたオンチップメモリを共有するグループとして構成される。また、高帯域幅のより大きなオフチップメモリにもアクセスする。この設計は、大規模なデータ配列に対して同一の計算を繰り返す形で表現できる処理に有利である。

歴史と発展

GPUを非グラフィックス用途に使うという発想は、グラフィックスAPIにおけるプログラマブルシェーディングと並列性の利用が柔軟になるにつれて生まれた。初期のGPGPUでは、グラフィックスパイプラインを計算用に転用していた。その後、ベンダー主導および標準化に基づくソリューションが登場した。NVIDIAは2000年代半ばに、汎用GPUプログラミングを簡素化するプログラミングプラットフォームCUDAを公開し、続いてOpenCLなどの業界標準が現れた。過去10年にわたり、GPUは行列演算やテンソル演算を高速化できることから、機械学習などの分野で中心的な役割を担うようになった。

主な用途と重要性

GPGPUは、幅広いアプリケーションを高速化する。

• 機械学習、およびディープニューラルネットワークの学習と推論
• 科学シミュレーションと数値計算手法（計算流体力学、分子動力学）
• 画像・映像処理、リアルタイムレンダリング、レイトレーシング
• 金融モデリング、モンテカルロシミュレーション、リスク分析
• 暗号学的ハッシュ処理、および歴史的には暗号資産マイニング

プログラミングモデルとツール

ソフトウェア開発者は、複数のモデルを用いてGPGPUプログラムを作成する。CUDAはNVIDIA GPU向けに広く使われるプロプライエタリなAPIおよびツールチェーンである。OpenCLは、多数のベンダーにまたがるヘテロジニアスコンピューティングのためのオープン標準である。VulkanやDirectXなどの現代的なグラフィックスAPIには計算機能が含まれ、線形代数やディープラーニングのライブラリなど、多くの高水準ライブラリがGPUアクセラレーションを提供する。TensorFlowやPyTorchなどのエコシステムは、こうした低水準インターフェースを通じてGPUを利用できる。

制約と実用上の考慮事項

すべてのアルゴリズムがGPUの恩恵を受けるわけではない。並列性が限られるワークロード、分岐が多い処理、または小規模なメモリ転送を頻繁に行う処理は、CPU上でより適切に動作する場合がある。ホストメモリとデバイスメモリ間のデータ転送にはオーバーヘッドが伴うため、デバイス上での計算を最大化し、転送を最小化することが重要である。ほかにも、必要な精度、消費電力、デバイスメモリ容量の制約、デバッグの複雑さ、ベンダー間での移植性を考慮する必要がある。こうした制約があるにもかかわらず、GPGPUは現在、データ並列計算を高速化する最も有効な手段の一つである。