1 サロゲート目的関数の概念
1.1 定義と役割
サロゲート目的関数とは、評価に高い計算コストを要する本来の目的関数を、より安価に評価できる近似モデル（サロゲート）に置き換え、その近似に基づいて探索・最適化を進めるために設計された「最適化対象の指標」を指す。ここで重要なのは、置換後の指標が単なる近似値ではなく、未観測領域での有望さや不確実性をも踏まえた意思決定を可能にする点にある。
役割としては、限られた回数の高価な評価（実測やシミュレーションなど）で、良い解を見つける確率を高めること、ならびに探索の進行を安定化させることが挙げられる。特に学習済みモデルが段階的に更新される枠組みでは、次に評価すべき候補の選び方そのものが性能を左右するため、サロゲート目的関数は探索戦略の中核になる。
1.2 従来の目的関数との関係
従来の最適化では、目的関数そのものを繰り返し評価し、勾配法・探索法などを通じて最適解へ近づける。しかし現実の多くの工学・研究タスクでは、真の目的関数は計算負荷が大きく、入力空間が高次元である場合も多い。このため、目的関数を逐次的に直接評価する方針は実行可能性を失いやすい。
サロゲート目的関数は、真の目的関数 \(f(x)\) の代わりに、サロゲートモデル \( \hat{f}(x)\) が出す予測結果から構成される指標である。さらに典型的には、予測に伴う不確実性を読み込むことで、探索と改善のバランスを取るように設計される。結果として、最適化のターゲットが「真の値をそのまま最大化・最小化すること」から「サロゲートに基づく良い候補を選び、逐次的に真の目的関数で検証すること」へと変わる。
1.3 サロゲート最適化の基本的な流れ
サロゲート最適化は、概ね次の手順で進む。まず探索空間から少数の点を選び、真の目的関数を高コストながら評価する。これにより初期のデータセットが得られる。
次に、そのデータに適合するサロゲートモデルを構築し、任意の候補点に対して予測分布や不確実性を算出する。続いて、サロゲート目的関数（獲得指標）を最大化または最小化することで、次に真の目的関数を評価すべき候補点が決まる。最後に、その候補点で真の目的関数を評価し、データを追加してサロゲートを更新する。この更新と候補選択を反復することで、探索が徐々に有望領域へ集中していく。
2 数理的な枠組み
2.1 サロゲートモデルの前提
2.1.1 回帰と確率モデル
サロゲートモデルは一般に回帰問題として表現される。入力 \(x\) に対し目的関数の値 \(f(x)\) を予測し、回帰器が出力するのは点推定だけでなく確率的な振る舞いであることが多い。理由は、獲得指標が不確実性を利用する設計になりやすいためである。
2.1.1.1 予測平均と予測分散
回帰器が確率モデルである場合、候補点 \(x\) での目的関数値は確率変数として扱われ、予測平均と分散（あるいは分布の形）が得られる。多くの実装では、予測平均 \( \mu(x)\) と予測分散 \( \sigma^2(x)\) を用いて、サロゲートの「当たりやすさ」と「自信のなさ」を同時に評価する。
予測分散は、入力空間上でデータが乏しい領域や、モデルが整合的に当てはまらない領域で大きくなりやすい。獲得指標ではこの性質が探索の推進力になる。一方で分散だけでは改善可能性を捉えきれないため、平均と組み合わせた指標設計が行われる。
2.1.2 損失関数・目的関数の表現
サロゲート目的関数の設計以前に、目的関数の向き（最大化か最小化か）と評価量の性格が定義される必要がある。たとえば回帰誤差や負の性能指標など、最適化の対象がどのようにスカラー量へ落とされているかが重要である。
このとき、真の目的関数が「観測ノイズを含む」かどうかも関係する。観測が確率的に変動する場合、サロゲートはノイズ成分を分離する設計や、ノイズ込みでの分布推定を行う必要がある。結果として獲得指標が反映する不確実性は、モデル誤差と観測誤差の双方を含む形になり得る。
2.2 目的関数近似の要件
2.2.1 近似精度と汎化
サロゲートは観測点に忠実であるほど良いが、必ずしも過学習が望ましいとは限らない。近似精度と汎化の観点では、未知領域での予測が体系的に外れると獲得指標が誤誘導される。したがって、学習済みの回帰器が持つ仮定や正則化の方針が、最適化の成否に直結する。
また、獲得指標は探索・活用の両方を要請するため、平均予測の精度だけでなく、分散推定の妥当性も重要になる。予測分散が過小評価されると探索が止まり、過大評価されると無駄な探索が増える。
2.2.2 評価コストと応答性
真の目的関数は高価である一方、サロゲート目的関数の評価自体は比較的安価である必要がある。獲得指標は候補点探索の内部で繰り返し算出される場合が多く、計算時間がボトルネックになると全体が遅くなる。
そのため、サロゲートモデルの種類やパラメータ数、最適化手順における内側探索の方法が、応答性に影響する。たとえば連続空間で獲得指標を最大化する際の探索アルゴリズム（勾配利用の可否やサンプリングの粒度）が、全体の実行時間を左右する。
2.3 最適化問題としての定式化
最適化では、候補点 \(x\) を選ぶことで真の目的関数 \(f(x)\) を評価し、その結果に基づいて次の選択を更新する。サロゲート目的関数は、この選択規則を明示する役割を持つ。典型的には、反復 \(t\) においてサロゲートが与える予測分布に基づき、獲得指標 \(a_t(x)\) を計算し、次点として \[ x_{t+1}=\arg\max_x a_t(x) \] のような形で選ぶ（最小化なら符号や定義が調整される）。
また制約付き問題では、目的以外に可否条件があるため、実行可能性を示すモデル（あるいは指標）が別途導入され、獲得指標に統合されることが多い。定式化の本質は、「真の評価で改善が期待できる候補」を指標上で探索可能にする点にある。
3 サロゲート目的関数の代表的設計
3.1 確率的獲得指標
3.1.1 期待改善に基づく設計
期待改善（Expected Improvement）の考え方は、現在までの最良値と比べて、次に評価したときにどれだけ改善する可能性があるかを予測分布から計算する指標として設計される。最良値を基準にするため、すでに見つかっている良好領域の活用と、改善余地のある領域の探索を自然に両立できる。
一般に改善量は最大化・最小化の定義に応じて調整され、予測分布から期待値として算出される。獲得指標が大きいほど「真の目的関数が現在の最良を上回る（または下回る）期待」が高いと解釈できる。実装では、探索の停滞を避けるために、改善を期待する閾値をずらすパラメータを加える場合がある。
3.1.2 改善の確率に基づく設計
改善の確率に基づく設計は、改善量の大きさそのものではなく、「改善が起きるかどうか」の確率を中心に扱う。予測分布から、基準値を超える（あるいは下回る）イベントの確率を求め、その確率が高い点を選ぶ。
この指標は期待改善に比べて直感的で、分布の裾や分散の影響が異なるため、探索の挙動が変わる。改善確率のみを使うと改善の大きさに関する情報が欠けるため、局所的に改善が小さい領域へ寄りやすいことがある。そのため実務では期待改善と組み合わせたり、閾値調整を行うなどの工夫が用いられる。
3.1.3 上側信頼限界・下側信頼限界
上側信頼限界（UCB）や下側信頼限界（LCB）の設計は、予測平均に不確実性を重み付けして加減し、楽観性ある推定を行う形で獲得指標を構成する。連続値の最適化では、たとえば最大化なら平均に「係数×標準偏差」を加えた指標を用い、より有望な候補を選びやすくする。
このアプローチは探索の度合いを係数で調整できる点が利点である。係数を大きくすると分散の大きい領域へ積極的になり、小さいと平均の高い領域へ集中しやすい。結果として、同じサロゲートモデルでも獲得指標のパラメータ次第で探索挙動が変化する。
3.2 不確実性を利用した探索
3.2.1 探索と活用のバランス
サロゲート目的関数の設計では、「活用」と「探索」のバランスが中心テーマになる。活用は平均予測に基づき、すでに有望と見込まれる点を選ぶ方針である。探索は予測分散が大きい点、すなわち情報が不足している領域を試す方針である。
両者のバランスは、獲得指標に含まれる不確実性の扱い方に現れる。期待改善や信頼限界型は、平均と分散を同時に使うため、自然に両立が実現されやすい。一方で、分散を軽視した指標設計をすると局所探索に偏りやすく、過度に探索を重視すると改善が遅れる傾向がある。
3.2.2 不確実性の解釈と指標化
不確実性には複数の側面がある。モデルがデータからどれだけ外挿しているか、観測ノイズの大きさ、仮定の不整合がどれほどあるかなどが混ざり得る。獲得指標に入る分散は、これらの要素を集約した指標として解釈される。
指標化では、分散のスケールに応じた標準化や係数調整が重要になる。分散が過度に大きい領域で常に選ばれるとコストが増えるため、探索の上限を制御する設計が求められる。逆に分散が過小であると、モデルが確信していない可能性を見落とすため、探索不足につながる。
3.3 制約付き最適化への拡張
3.3.1 罰則・制約違反の扱い
制約付き最適化では、候補点が制約を満たさない場合の扱いが課題となる。罰則法では、制約違反の程度に応じて目的にペナルティを加え、サロゲート目的関数を「罰則込みの有利さ」で計算する。
ただし罰則の重みは重要なハイパーパラメータになりやすい。重みが小さすぎれば無効解の探索が増え、大きすぎれば実行可能領域の境界付近の情報が得にくくなる。さらに、制約違反の推定が不確実な場合、罰則の設計は単純な二値判定よりも確率モデルと整合する形が好まれることが多い。
3.3.2 可行性を重視した獲得
可行性重視の設計は、候補点が実行可能である確率を別途見積もり、その確率を獲得指標に掛け合わせるなどの形で統合する。例えば目的改善の期待と同時に、制約を満たす確率が高い点を優先することで、探索が無効領域へ逸れにくくなる。
この枠組みでは、制約モデルの品質が直接結果に影響する。制約が複雑で観測データが乏しい場合、確率推定が不安定になり、可行性を過度に楽観または悲観する可能性がある。そのため、制約に関するサンプルの確保や、探索の下支えとなる学習設計が重要となる。
4 運用と実装上の論点
4.1 パラメータ設定とハイパーパラメータ
サロゲート目的関数の性能は、サロゲートモデルだけでなく獲得指標に含まれるパラメータに強く依存する。たとえば信頼限界型の探索係数、期待改善の改善閾値、改善確率の判定基準などが挙げられる。
さらに、サロゲートモデル側のハイパーパラメータ（カーネルの形、正則化、ノイズ仮定など）も推定の質と結び付く。これらは最適化の進行速度や解の質に影響するため、初期探索データの規模や妥当性とセットで考える必要がある。実務では過度なチューニングを避けるため、代表的な設定を起点に、検証での微調整を行う運用が多い。
4.2 計算量とスケーラビリティ
サロゲート目的関数の計算コストは、サロゲートモデルの計算量と結び付く。特にガウス過程のように学習が全データに依存するモデルでは、データ数が増えるほど更新や推論の負担が増える傾向がある。
獲得指標の内側最適化（獲得関数を最大化するための探索）も無視できない。候補点をグリッド探索する場合、次元が増えると計算が爆発するため、勾配利用やサンプル効率の高い探索手法が必要になることがある。現場では、サロゲートモデルの近似（疎化や低ランク化）や、獲得関数の探索回数削減が採用される。
4.3 初期データ設計と更新戦略
4.3.1 初期サンプリングの考え方
初期データはサロゲートの性質を大きく左右する。少数点のみでは、モデルが把握できる構造が限定されるため、探索空間を偏りなく覆う設計が望ましい。代表的にはラテン方格設計などの方法で、候補点のばらつきを確保する。
また、目的関数の滑らかさやノイズ水準が不明な段階では、初期点で多様性を確保しつつ、平均・分散推定が可能になる程度の情報量を確保することが重要である。初期サンプルが偏ると分散の位置が歪み、獲得指標が誤った探索方向を選ぶ。
4.4 収束性・性能評価の考え方
4.4.1 レグレットやベンチマーク評価
収束性は、最適化が理想解に近づく速度や確率的保証の有無として評価されることが多い。レグレット（後悔）という概念は、有限回の評価でどれだけ最良と差が出たかを測る枠組みとして用いられる。
ただし実務では理論保証よりもベンチマークに基づく比較が行われる。ベンチマークは目的関数の性質（多峰性、ノイズの有無、次元）を制御し、複数手法の評価回数あたりの改善を比較可能にする。サロゲート目的関数の設計では、同じサロゲートモデルを用いた場合でも獲得指標の違いで挙動が変わるため、比較設計の統制が重要になる。
4.5 実務での代表的ユースケース
4.5.1 実験計画・工学設計
工学設計や材料開発では、計測や試作に時間と費用がかかるため、サロゲート目的関数を通じて評価回数を抑える需要が高い。たとえば複数の設計変数に対する性能指標を、少数の実験で効率よく最大化する状況が該当する。
実務上は、実験装置の制約や測定失敗も起きるため、制約付き最適化やノイズ込みのモデル化が重要になることが多い。結果として獲得指標は、単なる最適値探索だけでなく、実行可能な範囲での学習推進を担う。
4.5.2 機械学習のハイパーパラメータ最適化
機械学習のハイパーパラメータ最適化では、モデル学習が高コストであり、同一データでも探索の各試行が重い。サロゲート目的関数は、学習後の検証性能を評価関数として扱い、次の試行設定を獲得指標で決めることで、全体の試行回数を抑える。
また、学習が長時間化しやすい領域では、評価途中の打ち切りや段階的評価（多忠実度の枠組み）と組み合わせることもある。獲得指標は、そのような評価形態に合わせて解釈される必要がある。
5 関連概念
5.1 サロゲートモデル（代理モデル）
サロゲートモデルは、真の目的関数の代替として予測を行う回帰器である。入力と出力の対応関係を学習し、未知点に対する推定を可能にする。獲得指標の精度はサロゲートの質に依存するため、適切なモデル選択と更新が重要になる。
5.2 ベイズ最適化と獲得関数
ベイズ最適化は、確率モデル（多くの場合はガウス過程など）を用い、獲得関数と呼ばれる指標を最大化して次点を決める最適化手法である。サロゲート目的関数は、この獲得関数の考え方と密接に関連し、探索と活用のバランスを確率的に扱う枠組みを提供する。
5.3 アクティブラーニングとの接点
アクティブラーニングでは、データの追加によりモデル性能が高まる点を優先してラベル付けする。サロゲート目的関数は「次の評価で得られる情報価値」を通じて候補を選ぶ点で類似性がある。違いとして、アクティブラーニングは最終的な予測精度を重視し、ベイズ最適化は目的関数の最適化を重視する。
5.4 強化学習における価値推定との類似点
強化学習では、状態や行動の価値を推定し、方策の改善に利用する。サロゲート目的関数は、候補点に対して「将来の改善の期待」を評価する点で、価値推定との共通点がある。ただし、強化学習は環境との相互作用を通じた逐次決定であり、サロゲート最適化は評価関数に基づく点選択が中心である。
6 まとめ：選び方の指針
6.1 問題特性別の推奨
目的関数が比較的滑らかで、少数のデータでも傾向が掴めそうなら、信頼限界型や期待改善型が扱いやすい。ノイズが大きく、改善の安定性が問題になる場合は、期待改善のように平均と分散を統合する指標が有利になりやすい。制約が強い領域では可行性を考慮した統合設計が望ましい。
次元が高い場合は獲得指標の最大化が難しくなるため、獲得関数の探索方法やサロゲートモデルの選択がより重要になる。計算資源が限られる状況では、サロゲートの更新コストと獲得指標の評価回数を同時に抑える方針が必要になる。
6.2 指標設計のチェックリスト
指標選定では、(1)目的が最大化か最小化かの整合、(2)予測平均と不確実性の使い分け、(3)探索係数や閾値の設定方針、(4)制約がある場合の可行性統合、(5)評価回数あたりの改善量を見た性能比較、を確認することが実務では有効である。
また、分散が意味ある不確実性を表しているか（過小・過大の問題）も検討対象になる。指標設計が理論的に正しくても、分散推定が崩れていると探索戦略が機能しない。
6.3 よくある失敗と対策
よくある失敗として、初期データの偏りにより探索が誤った領域へ長く留まることがある。対策としては空間カバレッジを意識した初期サンプリングや、初期段階の探索重視を段階的に弱める戦略が挙げられる。
次に、獲得指標のパラメータを固定したまま問題が変わってしまう点がある。対策としては、検証ベースで探索係数や閾値の感度を確認し、過度な楽観・悲観を避ける調整を行う。
最後に、計算量の見積り不足で全体が遅くなることがある。対策としてはサロゲートの近似化、獲得関数最大化の内側探索の回数制限、候補集合の絞り込みなど、運用上の工夫を早期に導入することが重要である。