1 基礎概念
1.1 並列処理と分散処理の定義
並列処理とは、単一のコンピュータシステム内に複数のプロセッサまたはコアを搭載し、それらが同時に動作することで計算を高速化する手法である。各プロセッサは共通のメモリ空間を共有する場合（共有メモリ型）と、個別のメモリを持つ場合（分散メモリ型）がある。一方、分散処理は、ネットワークで接続された複数の独立したコンピュータ（ノード）が協調して一つの処理を実行する方式である。各ノードは独自のメモリとOSを持ち、メッセージ交換によりデータをやり取りする。並列分散処理はこれらを統合し、大規模問題を効率的に解決するための計算パラダイムである。
1.2 並列性の種類（データ並列・タスク並列）
データ並列は、同じ操作を異なるデータ要素に対して同時に適用する方式である。例えば、巨大な配列の各要素に同じ関数を適用する場合、各プロセッサが異なる部分配列を担当する。SIMD（Single Instruction Multiple Data）型の処理に相当する。タスク並列は、異なる操作を同時に実行する方式であり、各プロセッサが独立したタスク（サブルーチンや関数）を実行する。MIMD（Multiple Instruction Multiple Data）型に相当する。実際のアプリケーションでは両者を組み合わせたハイブリッド並列性が用いられることが多い。
1.3 粒度（細粒度・粗粒度）
粒度は並列処理の基本単位となる計算量の大きさを表す。細粒度並列は、ごく小さな処理単位（例えば数命令レベル）で並列化を行う。GPUのスレッド並列や命令レベル並列が該当し、高い並列度が得られるが同期や通信のオーバーヘッドが相対的に大きくなる。粗粒度並列は、比較的大きな処理ブロック（サブルーチンやプログラム全体）を並列化する。MPIを用いたプロセス並列やジョブレベル並列が該当し、オーバーヘッドは小さいが並列度が制限される。最適な粒度はハードウェアや問題の性質に依存する。
2 ハードウェアアーキテクチャ
2.1 共有メモリ型
共有メモリ型アーキテクチャは、複数のプロセッサが単一の物理メモリ空間を共有する。プロセッサ間のデータ共有はメモリを介して行われ、プログラミングが比較的容易である。しかし、メモリアクセスの競合やスケーラビリティに制約がある。
2.1.1 SMP（対称型マルチプロセッサ）
SMPは、すべてのプロセッサが対等にメモリとI/Oバスにアクセスできるアーキテクチャである。各プロセッサからメモリへのアクセス時間は均一であり、OSがプロセッサ間でタスクを均等に割り当てる。市販のデュアルコアやクアッドコアCPUを搭載したPCもSMPの一種である。ただし、バス競合によりコア数が増えると性能が頭打ちになる。
2.1.2 NUMA（不均一メモリアクセス）
NUMAは、各プロセッサに近接したローカルメモリを持ち、他のプロセッサのメモリへのアクセスにはより長いレイテンシがかかるアーキテクチャである。メモリは物理的に分散しているが、アドレス空間は統一されている。これにより、SMPのスケーラビリティ問題を緩和し、多数のプロセッサを搭載した大規模サーバ（例：AMD EPYCやIntel Xeon Platinum系）で採用されている。プログラミングではデータの局所性を考慮する必要がある。
2.2 分散メモリ型
分散メモリ型アーキテクチャは、各ノードが独立したメモリを持ち、ノード間はネットワークで接続される。共有メモリがないため、データ交換は明示的なメッセージパッシングによって行われる。スケーラビリティに優れ、大規模システムの構築に適する。
2.2.1 クラスター
クラスターは、一般的なコンピュータ（ノード）を高速ネットワーク（イーサネット、InfiniBandなど）で結合したシステムである。各ノードは独立したOSで動作し、ミドルウェアによって並列処理を実現する。Beowulfクラスターが有名で、安価に構築できるため研究機関や企業で広く利用される。スケーラビリティが高く、ノード追加による性能向上が容易である。
2.2.2 MPP（大規模並列処理）
MPPは、専用設計のプロセッサとインターコネクトを用いた超大規模並列システムである。数百から数万のノードを高帯域・低レイテンシのネットワークで結合し、一台のスーパーコンピュータとして動作する。例として、地球シミュレータや富岳（FUGAKU）が挙げられる。MPPは高い性能と信頼性を持つが、専用ハードウェアのためコストが高い。
2.3 ハイブリッド型
ハイブリッド型は、共有メモリ型と分散メモリ型を組み合わせたアーキテクチャである。各ノード内では共有メモリ（マルチコアCPU）を利用し、ノード間は分散メモリ（ネットワーク）で接続する。近年のスーパーコンピュータの多くはこの方式を採用しており、例えば1ノードに数十コアのCPUを搭載し、それをInfiniBandで結合する。プログラミングモデルとしては、ノード内でOpenMP、ノード間でMPIを用いるハイブリッドMPI/OpenMPが標準的である。
3 プログラミングモデル
3.1 メッセージパッシング（MPI）
MPI（Message Passing Interface）は、分散メモリ環境における標準的なメッセージパッシングライブラリである。プロセス間で明示的にデータを送受信することで通信を行う。Send/Receiveのペアによるポイントツーポイント通信と、全プロセスが関わる集団通信（Broadcast、Reduce、Allreduceなど）が定義されている。MPIはC、Fortran、Pythonなどから利用可能で、スーパーコンピュータ向け並列プログラムの事実上の標準である。高い性能と移植性を持つが、プログラミングの煩雑さが課題である。
3.2 共有メモリモデル（OpenMP、Pthreads）
共有メモリモデルでは、複数のスレッドが同じアドレス空間を共有し、並列処理を行う。OpenMPはディレクティブベースの並列化手法であり、C/C++やFortranのソースコードに#pragma omp parallelなどの指示を挿入することで容易に並列化できる。主にループ並列化に用いられ、shared変数によるデータ共有と、criticalやbarrierによる同期を提供する。Pthreads（POSIX Threads）はより低レベルなAPIで、スレッドの生成・同期・排他制御を明示的に記述する。柔軟性が高いが、コードが複雑になりやすい。
3.3 データフローモデル（MapReduce、Spark）
データフローモデルは、処理を「map（写像）」と「reduce（集約）」の二段階に抽象化する並列プログラミングパラダイムである。MapReduceはGoogleが提唱し、Hadoopで広く実装された。ユーザーはmap関数とreduce関数のみを記述すればよく、分散処理の詳細（データ分割、タスクスケジューリング、耐障害性）はフレームワークが隠蔽する。Apache SparkはMapReduceの拡張として、メモリ内処理とDAG（有向非巡回グラフ）ベースの実行モデルを採用し、反復処理や機械学習で高い性能を発揮する。データフローモデルはビッグデータ処理の基盤技術である。
3.4 並列言語とライブラリ（CUDA、OpenCL）
GPU（Graphics Processing Unit）を汎用計算に利用するためのプログラミング環境である。CUDAはNVIDIAが提供する並列コンピューティングプラットフォームで、多数のスレッドを階層的に編成し、SIMT（Single Instruction Multiple Thread）モデルで実行する。CUDA C/C++やCUDA Fortranを用いて記述し、GPU内の共有メモリやレジスタを明示的に管理することで高い性能を引き出す。OpenCLはマルチベンダー対応のオープン標準で、GPUだけでなくCPUやFPGAなど様々なデバイスを対象とする。両者ともデータ並列処理に強みを持ち、深層学習や科学技術計算で広く使われている。
4 重要な技術課題
4.1 同期と通信オーバーヘッド
並列処理では、プロセスやスレッド間の同期（バリア同期、ロック、ミューテックスなど）とデータ通信に時間がかかる。同期オーバーヘッドは、あるプロセスが他のプロセスを待つアイドル時間を生む。通信オーバーヘッドは、ネットワークレイテンシや帯域幅に依存する。これらのオーバーヘッドを最小化するためには、計算と通信のオーバーラップ、非同期通信の活用、データ転送量の削減（データ局所性の最適化）が重要である。アムダールの法則によって、オーバーヘッドが全体の性能を制限する。
4.2 負荷分散
並列システムでは、各プロセッサの処理時間が均等になるようにタスクを割り当てる必要がある。負荷不均衡が生じると、最も遅いプロセッサが全体の実行時間を決定する。静的な負荷分散は事前にタスクを均等に分割するが、動的な負荷分散は実行時にタスクキューやワークスティーリングを用いて負荷を調整する。特に科学技術計算では、計算領域の分割（ドメイン分割）やプロセス間のデータ移動を考慮したバランス取りが重要となる。
4.3 スケーラビリティとアムダールの法則
スケーラビリティとは、プロセッサ数を増やしたときに性能が比例して向上する性質を指す。アムダールの法則は、並列化不可能な逐次部分の割合によって加速比の上限が決まることを示す。すなわち、逐次部分が全体の1%であれば、プロセッサ数を無限に増やしても加速比は最大100倍にしかならない。このため、並列化率を最大化するとともに、逐次部分の克服が常に課題となる。また、通信オーバーヘッドもスケーラビリティを制限するため、効率的なアルゴリズムとハードウェア設計が必要である。
4.4 フォールトトレランス
大規模並列分散システムでは、ノードやネットワークの故障が避けられない。フォールトトレランスとは、一部の構成要素が故障してもシステム全体として正しい結果を出力できる能力である。チェックポイント/リスタート（定期的に状態を保存し、故障時にはその状態から再開）が一般的な手法である。また、冗長実行（同じ計算を複数ノードで同時に行い、多数決を取る）や、メッセージログの保存による回復も用いられる。ビッグデータ処理では、データを複製して分散保存することで、ノード故障時にもデータの可用性を保つ（HDFSのレプリケーションなど）。
5 応用分野
5.1 科学技術計算（気象シミュレーション、分子動力学）
科学技術計算は並列分散処理の古典的な応用分野である。気象シミュレーションでは、地球全体を格子に分割し、各領域の計算を異なるプロセッサに割り当てる。天気予報や気候変動予測には数万コアを要する大規模計算が必要であり、スーパーコンピュータが用いられる。分子動力学では、多数の原子の相互作用を計算するため、原子のペアリストや領域分割による並列化が行われる。GROMACS、NAMD、AMBERなどのソフトウェアがGPU並列化にも対応している。
5.2 ビッグデータ処理（Hadoop、Sparkエコシステム）
ビッグデータ処理では、テラバイトからペタバイト級のデータを分散環境で処理する。HadoopはHDFS（分散ファイルシステム）とMapReduceエンジンの中核で構成され、大規模なバッチ処理を実現する。Sparkはメモリ内処理とRDD（Resilient Distributed Dataset）による高速処理を提供し、機械学習（MLlib）やグラフ処理（GraphX）、ストリーム処理（Structured Streaming）を含むエコシステムを持つ。これらはクラウド上の大規模クラスターで稼働し、ログ解析、レコメンデーション、科学研究に活用される。
5.3 機械学習・深層学習の分散訓練
深層学習モデルの訓練には膨大な計算量とデータ量が必要である。分散訓練は、モデル並列（巨大モデルを複数GPUに分割）とデータ並列（訓練データを分割し各GPUでモデルを更新）の二つのアプローチがある。大規模なモデル（GPT-3、BERTなど）は数百から数千のGPUを用いて訓練される。TensorFlow、PyTorchなどのフレームワークは分散訓練をネイティブサポートし、Allreduceによる勾配集約やパラメータサーバーアーキテクチャを提供する。
5.4 リアルタイムストリーム処理
リアルタイムストリーム処理は、絶えず生成されるデータ（センサー、ログ、金融取引、ソーシャルメディア）を遅延なく処理する。Apache Kafkaがデータの取り込みと配信を担い、Apache FlinkやApache Stormが分散ストリーム処理エンジンとして動作する。処理は状態管理やウィンドウ処理（時間ベース、カウントベース）を含み、耐障害性と低レイテンシが求められる。応用例として、不正取引検知、IoTモニタリング、リアルタイムダッシュボードなどがある。
6 歴史と発展
6.1 初期の研究（1960～1980年代）
並列処理の概念は1960年代に登場した。ILLIAC IV（1972年）は64個のプロセッサを格子状に接続した初期の並列コンピュータである。1980年代には、Thinking Machines社のConnection Machine（CM-1、CM-2）がSIMD方式で数千プロセッサを実現した。並列アルゴリズムの理論（PRAMモデル）や、並列計算の複雑性理論もこの時期に発展した。また、分散システムの研究では、Ethernetの登場や、Sun NFSなどによる分散ファイルシステムの基盤が築かれた。
6.2 商用化と並列コンピュータの台頭
1990年代に入り、MPP（大規模並列処理）が商用化された。Cray T3D、IBM SP2、Intel Paragonなどが登場し、科学技術計算の分野でスーパーコンピュータ市場を形成した。同時に、Beowulfクラスターの概念が普及し、安価なPCをネットワークでつなぐことで並列計算が可能になった。MPI（1992年）とOpenMP（1997年）の標準化が進み、並列プログラミングの生産性が向上した。また、Java RMIやCORBAなどの分散オブジェクト技術も発展した。
6.3 クラウド時代の並列分散処理
2000年代後半から、Amazon Web Services（AWS）に代表されるクラウドコンピューティングが普及し、必要なときに必要なだけ並列リソースを利用するモデルが一般化した。仮想化技術により、物理的な並列システムを意識せずに分散処理を実現できるようになった。GoogleのMapReduce（2004年）とそのオープンソース実装Hadoop（2006年）はビッグデータ処理の革命を起こし、その後Spark、Flinkなどのエコシステムが拡大した。また、GPUコンピューティングがCUDAの登場（2007年）で加速し、深層学習の爆発的な発展を支えた。
7 将来の展望
7.1 エッジコンピューティングとの融合
エッジコンピューティングは、データ発生源（IoTデバイス、センサー）に近い場所で処理を行うことで、低遅延と帯域節約を実現する。将来的には、エッジノードどうしが協調して並列分散処理を行うエッジクラスターが増えると予想される。例えば、自動運転車群が周囲のセンサー情報を交換しながらリアルタイムに環境認識を行う。また、クラウドとエッジのハイブリッドモデルでは、エッジで前処理しクラウドで大規模分析を行う階層的な並列処理が標準となる。通信の信頼性やセキュリティ、動的なリソース管理が課題である。
7.2 量子コンピューティングの並列性
量子コンピューティングは、量子ビット（qubit）の重ね合わせと量子もつれを用いて、古典的な並列性を超えた計算を可能にする理論的基盤を持つ。特定の問題（素因数分解、量子化学シミュレーション、最適化）において指数関数的な高速化が期待される。しかし、現状の量子コンピュータはノイズの多いNISQ（Noisy Intermediate-Scale Quantum）デバイスであり、大規模な誤り訂正や多数qubitの実現が課題である。将来的には、古典的な並列分散処理と量子プロセッサを組み合わせたハイブリッドシステムが有力視されており、量子部分を加速器として利用するアーキテクチャが研究されている。