1 ブラー補正の概要
ブラー補正（deblurring）とは、撮影や表示の過程で生じたぼけ画像を、元の鮮鋭な状態に近づけることを目的とする処理技術の総称である。一般に、観測画像は「本来の画像」が「ぼけ（劣化）」を受けた結果として現れるため、その劣化過程を推定し、逆方向へ復元する考え方が中心となる。
ぼけの原因は複数あるが、代表的にはカメラの揺れ、被写体の動き、レンズの収差、焦点ずれ、そして撮像時の制御や撮影系の帯域制限などが挙げられる。補正の難しさは、復元がしばしば情報喪失を伴う逆問題であり、推定誤差やノイズが増幅しやすい点にある。そのため、物理モデルに基づく復元に加え、安定化のための正則化や学習の活用が発展してきた。
1.1 ブラーの種類と原因
ブラーは、その見え方と発生メカニズムにより複数の系統に整理できる。補正で重要なのは、ぼけがどの程度の広がりとどの方向性を持ち、時間的にどのように変化するかを把握することである。
1.1.1 手ブレによるブラー
手ブレによるぼけは、撮影者の手の揺れにより、露光時間中にカメラが微小に移動することで生じる。結果として、点光源の像がある軌跡に沿って広がり、しばしば直線的あるいは曲線的な尾を伴う。スマートフォンのように手持ち撮影が多い環境では、比較的一般的な要因であり、補正における主要対象となる。
1.1.2 被写体ブレによるブラー
被写体ブレは、被写体の移動により露光時間中に像が動くことで起こる。手ブレと同様に尾状の広がりが現れるが、動きの方向や速度は撮影シーンに依存し、画面内の位置によって見え方が異なる場合がある。特に奥行きのある場面では、同一フレーム内でも異なる速度成分が合成され、単純なカーネルで表せないことがある。
1.1.3 焦点ずれ・収差によるぼけ
焦点ずれでは、焦点面から外れた位置の光が拡散して像がにじむ。収差は、レンズが理想的に点像を結ばないことにより、点像の広がりや周辺での非対称性を生む。これらは動きによるものではなく、光学系の性質と撮影設定に強く依存する。そのため、時系列情報が乏しい場合でも、点広がり関数として扱うことで復元の設計に活用できる。
1.2 補正の目的と評価指標
ブラー補正は「見た目を良くする」だけでなく、元画像の情報をどれだけ回復したかを評価できる形に整理する必要がある。評価指標は視覚的品質と数値的誤差、さらにノイズやアーティファクトの抑制を含む。
1.2.1 視覚的なシャープさ
視覚評価は、輪郭の明瞭さ、細部の再現、階調の自然さなどを基に行われる。客観化のためにエッジ強度や高周波成分の指標が用いられることもあるが、復元ではシャープ化と同時にノイズも増え得るため、過度な強調が望ましくない点に注意が要る。
1.2.2 焦点復元度と復元誤差
復元度は、原画像が利用できる実験環境では、画素レベルの差から算出されることが多い。代表例として平均二乗誤差や構造類似性のような指標が使われるが、実運用では参照画像がないことが多いため、モデルの妥当性や推定の一貫性が間接的な手がかりとなる。
1.2.3 ノイズ増幅・アーティファクトの抑制
デコンボリューションは逆問題ゆえに、周波数成分によってはノイズが増幅されやすい。加えて、過補正によるハロー（縁のにじみ）やリング状のゴースト、局所的な不自然な濃淡などのアーティファクトが生じ得る。したがって、シャープさだけでなく、異常な高周波や偽のエッジの発生を抑える設計が評価で重視される。
2 ブラーのモデル化
復元の成否は、劣化過程のモデル化の精度に左右される。ブラー補正では、点像の広がりやカメラの運動に基づき、観測がどのような合成で得られたかを数学的に表現する。
2.1 ぼけの点広がり関数（PSF）
PSF（Point Spread Function）は、理想的な点が撮像系でどのように広がって観測されるかを表す。復元では、観測画像をPSFとの畳み込みとして近似し、そこから元画像やPSFを推定する枠組みがよく用いられる。
2.1.1 空間的・方向的なブラー特性
PSFは一様な広がりであるとは限らない。レンズの収差やセンサ位置により空間的に変化し、また手ブレや被写体運動では方向性を持つことが多い。方向が偏ると、復元に用いるカーネルは異方的になり、単純な円盤状モデルでは説明しきれないケースが増える。
2.1.2 時間変化を含むPSF推定
露光中の動きは一定とは限らず、PSFが時間とともに変化する場合がある。動画ではフレーム間に変化が現れ、また高速な運動では露光全体で複数の状態が混ざる。推定では、時間方向の状態遷移をどう扱うかが課題となり、単一カーネル推定から、複数カーネルや時間依存モデルへ拡張する必要が生じる。
2.2 ブラー核（カーネル）推定
カーネル推定は、観測からPSFに対応するぼけ成分を逆算する作業である。正確なカーネルが得られるほど復元は安定するが、同定は一般に難しく、ノイズやモデル誤差の影響を受ける。
2.2.1 直接推定の考え方
直接推定では、観測された画像の統計的性質や周波数特性から、ぼけの広がりや方向を推定する。エッジの方向分布や、複数スケールでの特徴量の整合性を利用する方法がある。利点は比較的実装が単純な場合があることで、欠点は誤差に対して脆いことがある。
2.2.2 反復最適化による推定
反復最適化では、画像とカーネルの双方を未知量として扱い、目的関数を定めて繰り返し更新する。例えば、現時点のカーネルで復元した画像を用いて観測を再生成し、誤差が小さくなるようにカーネルを修正する。復元結果と推定が相互に影響するため、初期値や制約が重要になる。
2.3 画像劣化モデル
劣化の数式モデルは、デコンボリューションの設計を決める。畳み込み表現に加えて、ノイズやゲイン変動など観測過程の要素をどう含めるかが性能に影響する。
2.3.1 畳み込みモデル
代表的には、観測画像を元画像とカーネルの畳み込みに、加法的ノイズを加えた形として表す。空間不変を仮定する場合は効率が良いが、現実の光学系では非一様性があり得るため、領域分割や空間変化カーネルの導入によって対応することがある。
2.3.2 ノイズモデルの扱い
撮像では、暗電流や読み出しノイズ、ショットノイズなど複数の要因が含まれる。加法ガウスとして近似する場合もあれば、光量依存の性質を反映してより複雑な確率モデルを用いることもある。ノイズの仮定は最適化の重み付けに直結し、過学習ではない一般化にも影響するため慎重な設定が必要である。
3 復元アルゴリズム
復元アルゴリズムは、非盲目（カーネル既知）から盲目（未知推定）へ、また従来型の最適化から学習ベースへと発展してきた。多くの場合、データ整合と正則化のバランスが鍵になる。
3.1 デコンボリューションの基本
デコンボリューションは、畳み込みによる劣化を逆方向に解くことで、推定元画像を得る処理である。数値的には逆行列や周波数逆数に近い操作が含まれるため、単純に行うと発散しやすい。
3.1.1 非盲目的手法
非盲目的手法では、PSFやカーネルが既知、または十分に近似できると仮定する。これにより最適化は画像推定のみに集中でき、計算が容易になる。実装では、前処理としてカーネルの正規化や境界条件を揃え、復元の安定性を高める。
3.1.2 ぼけカーネルを推定する盲目的手法
盲目的手法は、カーネルも画像も同時に推定する。カーネルの自由度が増えるため、探索空間が大きくなりやすく、解の一意性が崩れ得る。したがって制約（カーネルの非負性や有限サポート）や、画像側の事前知識（滑らかさ、スパース性）を組み合わせることが多い。
3.2 正則化による安定化
正則化は、逆問題で生じる不安定性を抑えるための項を目的関数に追加する考え方である。復元が“解の一つ”にならないよう、望ましい性質を誘導する。
3.2.1 Tikhonov正則化
Tikhonov正則化は、推定画像の二乗ノルムに基づく制約を導入し、極端な変動を抑える。これは滑らかさを与える効果があり、計算は扱いやすい。一方で、エッジを含む画像に対しては過度な平滑化が起こり、輪郭が鈍ることがある。
3.2.2 全変動（TV）正則化
全変動正則化は勾配の大きさを抑えることで、平坦な領域は滑らかにしつつ、重要な輪郭の保存を狙う。エッジを保ちやすい点が利点で、実装では非二乗のため最適化アルゴリズムに工夫が必要になる場合がある。パラメータ選択が結果に大きく影響する。
3.3 周波数領域での補正
周波数領域では畳み込みが積になるため計算が簡潔になることがある。ただし、逆数計算では小さい振幅が大きな誤差を生むため、フィルタ設計が不可欠となる。
3.3.1 逆フィルタとその限界
逆フィルタは、周波数応答の逆数を用いて復元する考え方である。理想的には劣化を相殺できるが、応答がゼロ近傍の周波数では値が発散し、ノイズが大きく増幅する。実際の撮像では応答推定誤差もあるため、単純な逆フィルタはしばしば不安定になる。
3.3.2 ウィナーフィルタの考え方
ウィナーフィルタは、信号とノイズのパワー比に基づき、逆数の大きさを抑制する設計である。これにより、発散を避けつつ一定の復元が可能になる。ノイズの統計や劣化モデルが現実と合わないと性能が落ちるため、仮定の設定が結果を左右する。
3.4 学習ベース手法
深層学習を用いる方法では、復元写像をデータから直接学習する。明示的に数式モデルを置かない、または補助的に使う設計が多い。
3.4.1 復元用ニューラルネットワーク
畳み込みニューラルネットワークや拡散モデルのように、入力ぼけ画像から鮮鋭化を出力する構造が採用されることが多い。学習では損失関数として画素差だけでなく、知覚的品質を反映する指標を組み合わせる場合がある。目的は見た目の改善でありつつ、過度な生成感を抑える工夫が要る。
3.4.2 トレーニングデータと一般化
学習は、ぼけの分布が訓練データと一致するほど性能が伸びやすい。実環境では光学条件や動きパターンが多様であり、一般化能力が課題になる。データ拡張（ぼけ合成、解像度変更、ノイズ注入）や、カメラ固有の応答に寄せた合成が対策として用いられる。
3.5 時間連続データの活用
動画や複数フレームが利用できる場合、ぼけの情報が分散されるため、単一画像より復元が有利になることがある。中心課題はフレーム間の対応づけ（モーション）である。
3.5.1 複数フレームを用いた復元
複数フレームでは、各フレームの観測が異なるぼけ状態を持つことがあり、融合により有効な解像度が高まる。一般には、フレームを整合させた上で加重平均や推定ベースの融合を行い、ノイズ低減とシャープ化を両立させる。
3.5.2 モーション推定との統合
モーション推定と復元を統合する設計では、動きベクトルや変形モデルを通じて整合性を高める。誤推定があるとアーティファクトの原因になるため、復元と同時にパラメータを推定する、あるいは信頼度に応じて融合重みを調整する枠組みが使われる。
4 実運用と応用
実運用では、処理速度、カメラ特性、ユーザー体験、そして失敗時の見え方が重要になる。アルゴリズムの理論性能だけでなく、端末や撮影条件での挙動が評価される。
4.1 デジタルカメラ・スマートフォンでの利用
スマートフォンやデジタルカメラでは、手軽な撮影の中で手ブレ補正と高画質化が求められる。処理資源が限られるため、効率的な実装が前提になる。
4.1.1 ワンショット補正
ワンショット補正は、単一画像からぼけを推定し復元する方式である。システムとしては軽量で即時性が高いが、カメラ運動や焦点状態を完全に一意に推定できない場合、過補正や不自然な輪郭が出やすい。したがって、保守的な正則化や信頼度推定が組み合わされることがある。
4.1.2 手ブレ補正との連携
手ブレ補正は、ジャイロセンサ情報を用いてカメラ運動を推定し、撮影画像に反映する場合がある。画像復元側は、その運動推定結果をカーネルの初期値や拘束として利用し、推定誤差を抑えながら復元を行う。これにより、ブラーが多様な状況でも安定性が向上することがある。
4.2 映像領域でのブラー補正
動画では時間方向の情報が多い一方、フレームごとの整合性とリアルタイム性が要請される。目的は“滑らかな見え”を維持しつつ、不要なにじみを抑えることにある。
4.2.1 スムージング回避とシャープ化
復元が強すぎると時間方向に不連続なエッジが増え、視覚的なちらつきにつながる。これを避けるため、時間方向の平滑化や整合性の制約を入れ、シャープ化と安定表示を両立させる設計が行われる。
4.2.2 リアルタイム処理の要件
リアルタイムでは、フレームあたりの計算量、メモリ転送、レイテンシが厳しく制約される。アルゴリズム選択では、近似モデルや軽量ネットワーク、パラメータの固定化などが検討される。さらに、低解像度で推定し高解像度へ復元する多段設計も用いられる。
4.3 画質評価と品質管理
品質管理では、平均的な改善だけでなく、特定の条件での破綻を早期に検出することが重要になる。人間の視覚の敏感さに合わせた評価が必要である。
4.3.1 視覚評価と客観評価
視覚評価では、観察者が輪郭の自然さ、階調の破綻、ノイズの質感などを確認する。客観評価では、参照画像がある場合の誤差指標、参照なしの場合の推定信頼度やノイズ推定に基づく指標が使われる。両者を組み合わせる運用が一般的である。
4.3.2 失敗例（ハロー、過補正、リング状アーティファクト）
ハローはエッジ周辺に明暗の縁取りが生じる現象で、正則化不足やカーネル誤差で起こりやすい。過補正は、シャープ化が過度になり、細部が不自然に硬く見える状態である。リング状アーティファクトは、点光源や強いエッジで同心円状の偽構造が出ることがあり、周波数応答の誤った相殺が背景にある。
4.4 実装上の計算・性能
実装では、理論上の復元式をそのまま適用すると計算負荷が過大になることがある。実機の制約を踏まえて、設計パラメータと実行方針を決める必要がある。
4.4.1 処理時間とメモリ
処理時間は推定段数や反復回数、ネットワークの深さに依存する。メモリは中間特徴量やテンソル保持に直結するため、帯域制約のある端末では圧縮や段階処理が求められる。動画用途ではフレーム間のバッファも考慮される。
4.4.2 パラメータ調整の指針
パラメータ調整は、正則化強度、カーネルの大きさ、学習損失の重みなどに現れる。指針としては、過補正による偽エッジが最小化される範囲から始め、再現性のある評価セットで段階的に調整する手順が用いられる。加えて、ユーザー体験を損なう破綻（ちらつき、強いハロー）が出ない領域を優先する設計が多い。