1 基本概念
1.1 定義と重要性
リアルタイムレンダリングとは、コンピュータグラフィックスにおいて、ユーザーの操作やシミュレーションの進行に応じて画像を即座に生成・表示する技術である。通常、毎秒30～60フレーム以上の速度で画像を更新し、視覚的なフィードバックを遅延なく提供する。この技術は、インタラクティブな体験を実現するために不可欠であり、ビデオゲームや仮想現実（VR）、拡張現実（AR）などの基盤となっている。
1.2 静止画レンダリングとの違い
静止画レンダリング（オフラインレンダリング）は、時間制約がなく、複雑な計算や高品質な光のシミュレーションを優先できる。例えば、映画のVFXでは1フレームのレンダリングに数時間かかることもある。一方、リアルタイムレンダリングは厳格な時間制約の下で動作し、視覚品質と処理速度のバランスを最適化することが求められる。そのため、近似計算や最適化手法が多用される。
1.3 インタラクティブ性とフレームレート
インタラクティブ性はリアルタイムレンダリングの本質であり、ユーザーの入力に対して即座に視覚的な応答を返す能力に依存する。フレームレート（FPS）はこの指標の一つで、一般的に30FPS以上で滑らかな操作感が得られ、60FPS以上でより快適な体験が可能となる。VRでは90FPS以上が推奨され、低フレームレートは酔いの原因となる。
2 主要技術
2.1 レンダリングパイプライン
2.1.1 頂点シェーディング
レンダリングパイプラインの最初の段階であり、3Dモデルの頂点データを処理する。頂点の位置変換（モデル座標からスクリーン座標への変換）、法線ベクトルの計算、テクスチャ座標の補間などを行う。GPU上の頂点シェーダーがこの処理を担当し、複数の頂点を並列に処理することで高速化を実現する。
2.1.2 ラスタライゼーション
頂点シェーディングで変換されたポリゴンデータを、画面上のピクセルに変換するプロセス。各ポリゴンがどのピクセルを覆うかを決定し、断片（フラグメント）を生成する。この段階では、隠面消去（Zバッファリング）やスキャンライン変換などのアルゴリズムが用いられる。
2.1.3 フラグメント（ピクセル）シェーディング
ラスタライゼーションで生成された各フラグメントに対して、最終的なピクセル色を計算する。テクスチャマッピング、法線マッピング、反射・屈折の計算、光の減衰などを処理する。フラグメントシェーダー（ピクセルシェーダー）は、プログラマブルな処理を可能にし、多様な視覚効果の実現に貢献する。
2.2 照明とシェーディングモデル
2.2.1 フォンシェーディング
物体表面の光の反射をモデル化する古典的な手法で、環境光（アンビエント）、拡散反射（ディフューズ）、鏡面反射（スペキュラ）の3成分を組み合わせて計算する。計算コストが低く、リアルタイムレンダリングで広く利用されてきた。ただし、物理的な正確性には限界がある。
2.2.2 物理ベースレンダリング（PBR）
近年のリアルタイムグラフィックスで標準となった手法で、現実世界の物理法則に基づいて光の挙動をシミュレーションする。金属性、粗さ、法線マップなどのパラメータを用いて、材質ごとに一貫性のある見た目を実現する。エネルギーの保存則やフレネル効果などを考慮し、よりフォトリアリスティックな表現が可能となった。
2.3 高度な視覚効果
2.3.1 ポストプロセッシング（ブルーム、被写界深度など）
レンダリング完了後の画像全体に対して適用する効果で、画面全体の雰囲気や映像品質を向上させる。ブルームは明るい部分が光をにじませる効果、被写界深度はピントの合っていない領域をぼかす効果、モーションブラーは動きに応じた残像効果を生成する。これらの効果は比較的軽量な計算で実現できる。
2.3.2 リフレクションとシャドウ
反射表現には、スクリーンスペースリフレクション（SSR）や環境マッピングが用いられる。SSRは画面に表示された情報を利用して反射を計算する手法で、計算効率が高い。シャドウ技術では、シャドウマッピングやカスケードシャドウマップ（CSM）が一般的で、動的な影をリアルタイムに生成する。
2.3.3 パーティクルシステム
煙、炎、爆発、雨、雪などのエフェクトを表現するためのシステム。大量の小さなスプライト（パーティクル）を個別に制御し、それぞれの位置、速度、色、透明度、寿命をシミュレーションすることで、複雑な自然現象を効率的に表現する。GPUインスタンシングと組み合わせることで、数万〜数百万のパーティクルをリアルタイムに処理できる。
3 現実化と最適化技術
3.1 レベル・オブ・ディテール（LOD）
カメラからの距離に応じて、同一オブジェクトの解像度を切り替える技術。遠方のオブジェクトはポリゴン数の少ない簡略モデルを、近くのオブジェクトは高精細なモデルを使用することで、視覚品質を維持しながら処理負荷を低減する。LODの切り替えは連続的に行い、見た目の不自然さを防ぐ。
3.2 オクルージョンカリング
カメラから見えないオブジェクト（他のオブジェクトの背後に隠れているものなど）を事前に検出し、レンダリング処理から除外する技術。空間分割構造（BSPツリー、オクツリーなど）を用いて可視判定を行い、GPUの無駄な処理を削減する。大規模なシーンで特に効果を発揮する。
3.3 インスタンシング
同一のメッシュデータを複数回描画する際に、ジオメトリデータの転送を一度で済ませる技術。GPUに1回のドローコールで同じモデルを多数配置できるため、草、木、岩、群集などの大量オブジェクトの描画効率が大幅に向上する。各インスタンスの位置や色などの個別パラメータは、別途バッファで渡す。
3.4 動的バッチング
複数の小さなメッシュを一つの大きなメッシュに統合し、ドローコール数を削減する技術。特に2DゲームやUIのレンダリングで有効で、CPUとGPU間の通信オーバーヘッドを低減する。統合条件（同じマテリアル、テクスチャなど）に注意する必要があり、動的に変化するシーンではバッチの再構築が発生する。
4 応用分野
4.1 ビデオゲーム
リアルタイムレンダリングの最も主要な応用分野であり、3Dゲームのすべての画面描画がこの技術に依存している。現代のゲームでは、PBR、動的シャドウ、被写界深度、ボリューメトリックフォグなどの高度なエフェクトがリアルタイムで実現され、映画に匹敵する映像品質を達成している。ゲームエンジン（Unreal Engine、Unityなど）がその基盤技術を提供する。
4.2 仮想現実（VR）と拡張現実（AR）
VRでは、ユーザーの頭部の動きに追従して360度の仮想空間をリアルタイムに描画する必要があり、極めて高いフレームレート（90FPS以上）と低遅延が要求される。ARでは、現実の映像に仮想オブジェクトを重ね合わせるため、カメラ映像の解析とリアルタイムレンダリングの統合が重要となる。両分野とも、没入感を損なわないための高度な最適化技術が不可欠である。
4.3 建築・プロダクトデザインのビジュアライゼーション
建築設計では、内装や外観のリアルタイムウォークスルーが可能となり、設計変更の即時反映と検討が容易になった。プロダクトデザインでは、素材や照明を動的に変更しながら製品の外観を確認でき、デザインレビューの効率化に貢献している。これらの分野では、フォトリアリスティックな表現とインタラクティブな操作が両立される。
4.4 映画・テレビのプリビジュアライゼーション
実際の撮影や本格的なVFX制作の前に、シーンのレイアウトやカメラワークをリアルタイムで確認するために使用される。映画監督や撮影監督が、仮想空間内でカメラの位置や照明を即座に調整しながら、完成イメージを事前に確認できる。近年は、LEDウォールを使ったリアルタイム背景投影（The Mandalorianなど）にも応用されている。
5 歴史と将来動向
5.1 1990年代の初期のハードウェアアクセラレーション
1990年代半ばに3Dグラフィックスハードウェアが登場し、ソフトウェアレンダリングからハードウェアアクセラレーションへの移行が始まった。3dfx VoodooやNVIDIA RIVAといったGPUが登場し、テクスチャマッピングやZバッファリングなどの基本機能をハードウェアで処理することで、ゲームのグラフィックス品質が飛躍的に向上した。この時期にDirect3DやOpenGLといったAPIが標準化された。
5.2 シェーダープログラマビリティの登場
2000年代初頭、NVIDIA GeForce 3やMicrosoft DirectX 8により、プログラマブルシェーダーが導入された。従来の固定機能パイプラインから、頂点シェーダーとピクセルシェーダーを自由にプログラムできるようになり、多様な視覚表現が可能となった。これにより、法線マッピング、環境マッピング、複雑な照明計算など、従来は困難だった効果がリアルタイムで実現されるようになった。
5.3 レイトレーシングのリアルタイム化（NVIDIA RTXなど）
2018年、NVIDIAがRTXシリーズでリアルタイムレイトレーシングに対応したGPUを発表し、従来はオフラインレンダリングでしか実現できなかった光の物理的なシミュレーション（反射、屈折、影、グローバルイルミネーション）がリアルタイムで可能となった。専用のRTコアが光線とシーンの交差判定を高速化し、従来のラスタライゼーションと併用することで、品質とパフォーマンスのバランスを取る手法が普及している。
5.4 今後の展望（ニューラルレンダリング、クラウドゲーム）
ニューラルレンダリングは、AIによる画像生成と従来のレンダリングを組み合わせる技術で、ノイズ除去（デノイジング）、超解像度処理（DLSS、FSRなど）、テクスチャ生成などに活用されている。将来的には、AIがシーンの大部分を生成することで、計算負荷を大幅に削減できる可能性がある。また、クラウドゲーム（GeForce NOW、Xbox Cloud Gamingなど）では、サーバー側で高品質なレンダリングを行い、クライアントにストリーミングすることで、低スペック端末でも高品質な体験を提供する。5G通信の発展とともに、この分野の拡大が期待されている。