1 試験関数の概要
1.1 定義と役割
1.1.1 アルゴリズム評価の基準としての機能
試験関数（テスト関数、ベンチマーク関数とも呼ばれることがある）は、最適化や推論、数値計算の手順を評価するために用いられる代表的な関数（または関数族）である。設計者は、最小値や極値の位置、曲率や凸性、滑らかさ、局所的な凹凸、探索上の障害（例：平坦部、急峻な谷、制約違反の扱い）など、研究上の関心に直結する性質をあらかじめ明確にする。 この明確さにより、アルゴリズム間の差を「問題の性質に起因する成績の違い」として観察しやすくなる。たとえば、同じ反復回数や同じ探索範囲でも、凸性の有無によって収束の性質が変化するため、試験関数は挙動の比較に適した土台を提供する。
1.1.2 再現性と比較可能性の確保
試験関数の価値は、単に「例題がある」ことではなく、条件を揃えた再実験が可能になる点にある。典型的には、目的関数の定義、変数の次元、探索領域（許容範囲）、既知の最適解（または厳密解が得られる場合の理想値）、乱数の扱い、停止条件、評価指標を同じにすることで、結果の比較可能性が確保される。 研究コミュニティでは、同一の試験関数を使うことで手法の追試や追検証が行われ、報告内容の透明性も高まる。さらに、複数の試験関数を組み合わせることによって、特定の問題構造に過度に適合した手法でないかを相対的に見抜きやすくなる。
1.2 実験設計との関係
1.2.1 評価指標との対応付け
試験関数は評価指標とセットで考える必要がある。目的関数値の到達度（どれだけ低い値に到達したか）、解の近さ（既知の最適解に対する距離や誤差）、計算コスト（評価回数や実行時間）、安定性（初期値や乱数に対するばらつき）など、指標は複数に分かれる。 たとえば、極小の形状が鋭い試験関数では「目的関数値が小さい」だけでなく「解の位置が真の最適解に近いか」が重要になることがある。逆に、表現が冗長な問題では距離指標と値指標が整合しない場合もあるため、目的に応じて対応付けを設計する。
1.2.2 パラメータ設定の考え方
同じ試験関数でも、変数の次元設定、スケール、初期値の取り方、制約の強さ、ノイズの有無、許容誤差などが変わると難易度が変化する。そこで研究では、比較を意味のあるものにするためにパラメータ設定のルールを明確化する。 一般に、複数手法を比較するときは探索範囲や初期化分布を揃え、試験関数側のパラメータも同一条件にする。手法固有の調整（学習率や探索幅など）については、調整の基準や探索手順を規定しないと有利不利が生じるため、実験プロトコルとして管理することが望ましい。
1.3 用語の整理
1.3.1 関連概念（ベンチマーク、テストケース等）との違い
ベンチマークは、ある対象（アルゴリズム、実装、ハードウェア）を性能評価するための総合的な基準・手続き全体を指すことが多い。試験関数は、その中に含まれる「問題設定」の中心的要素とみなせる。 テストケースはより広く、入力条件と期待される挙動（または評価基準）をまとめた単位を意味しうる。最適化文脈では「特定の試験関数＋次元＋初期条件＋停止条件」といった組をテストケースと呼ぶ流儀もある。 一方で、試験関数という語は、主に数学的な目的関数やその族の性質に焦点が置かれる点で、手続き・基準の束（ベンチマーク）や、入出力の具体例（テストケース）よりも狭い概念として扱われることが多い。
2 試験関数の分類
2.1 形状特性による分類
2.1.1 凸関数・非凸関数
2.1.1.1 局所最適と大域最適の関係
凸性は最適化の難しさに強く関わる。凸関数では、局所最小が大域最小と一致するため、探索の見通しがよい。一方、非凸関数では局所的な停留点が多数現れ、局所最適と大域最適が一致しない。 試験関数の分類では、凸性の有無だけでなく、停留点の数、鞍点の構造、勾配情報の信頼性（勾配が消える領域の広がりなど）も重要な区別になる。設計者は、局所極小が多いタイプや、谷と尾根が入り組んだ形を持つタイプを用意することで、探索戦略の違いが表れやすい状況を作る。
2.1.2 滑らかな関数・非滑らかな関数
滑らかさ（微分可能性の程度）は、勾配法や準ニュートン法の適用可能性を左右する。滑らかな関数では勾配や曲率の情報を利用できるため、収束挙動が理論・実務の両面で分析しやすい。 非滑らかな関数では、微分が難しい点（角のある形、絶対値のような折れ点、勾配の不連続など）が存在し、勾配ベースの手法が不安定になり得る。試験関数の設計では、非滑らかさをどの程度の頻度・どの領域に配置するかが難易度の鍵となる。
2.1.3 連続・不連続、微分可能性の有無
連続性は解の変化の滑らかさを保証する性質であり、不連続は探索の見通しを大きく損なうことがある。さらに、微分可能性が欠ける点が存在すると、勾配情報の解釈が難しくなる。 試験関数には、ほぼ連続とみなせるが微分可能性だけが欠けるタイプ、あるいは連続ではあるが微分可能でないタイプ、さらに離散的に飛ぶ不連続タイプなど、複数の階層がある。これらは、探索アルゴリズムの設計（導関数利用の有無、差分近似の扱い）に直接影響する。
2.2 最適化の観点による分類
2.2.1 大域最小値が既知のもの
大域最小値（または最適解の集合）が既知である試験関数は、評価が定量化しやすい。目的関数値の下限が分かるため、誤差の定義や収束判定を客観化できる。 この種の問題は、理論比較だけでなく実装比較の検証にも向いている。特に、アルゴリズムが最適値へどの速さで近づくか、どの程度のばらつきを伴うかを比較しやすい。
2.2.2 制約付き最適化向けのもの
制約付き最適化では、制約条件が実行可能性（feasibility）を規定し、目的関数値だけでなく「条件を満たすこと」が重要になる。試験関数には、制約違反が連続的にペナルティへ反映されるタイプや、違反が許容される領域が限られるタイプがある。 設計者は、制約境界の複雑さ、実行可能領域のサイズ、境界近傍での勾配の性質などを調整し、ペナルティ法・逐次手法・障壁法などの差が出るように構成する。
2.2.3 多峰性・平坦領域を含むもの
多峰性は局所解を多数含む状況を作り、探索の多様性が必要になる。山や谷が繰り返し現れる構造では、初期値の選び方によって到達する解が変わることが多い。 平坦領域は勾配の小ささを通じて進みにくさを生み、停止判定の設計や学習・探索幅の調整を難しくする。試験関数には、平坦部が点として現れる場合と、広い領域として現れる場合があり、アルゴリズムの工夫（加速、再探索、二次情報利用など）が効いてくる。
2.3 応用領域による分類
2.3.1 連続変数最適化
連続変数最適化は、探索空間が実数値で表される問題を対象とする。試験関数も、通常は実数ベクトル入力に対してスカラー出力を返す形で定義される。 この分類では、勾配や曲率情報を利用する手法と、利用しない手法の双方の性質が観察できる。さらに、同じ連続最適化でもスケールの偏りや座標の相関構造があると挙動が変わるため、試験関数の設計ではこれらの要素を意図的に含めることがある。
2.3.2 離散変数を含む最適化
離散要素を含む場合、変数は整数やカテゴリに相当し、連続最適化とは扱いが異なる。試験関数は直接的に離散最適化向けに作られることもあれば、連続値を丸める等の変換を通じて離散性を導入することもある。 ここでは、評価の不連続性や同値解の多さが現れやすく、アルゴリズムの探索・近傍定義が重要になる。試験関数としては、同値な最適解が多数現れる形や、ギャップ構造（次善との差）が特徴になる形が用いられる。
2.3.3 異なるスケールや次元を想定した系列
次元増加による難化（計算量や探索の希薄化）を観察するには、次元を段階的に増やす系列が使われる。さらに、変数ごとのスケールが大きく異なると、数値的な安定性や探索の均衡が崩れやすい。 試験関数の系列では、次元だけを変える場合、スケールも同時に変える場合、相関構造（変数間の入れ替えや線形混合）を導入する場合など、難易度を調整する方向性が異なる。研究目的に応じて、どの要因を変数化するかを統制することが重要となる。
3 代表的な試験関数の例
3.1 低次元での理解に向く例
3.1.1 放物形状・二次曲面に基づく関数
低次元では、視覚的に理解しやすい二次形式が試験関数としてよく用いられる。たとえば、単峰で放物形のように最小点が明瞭な関数は、勾配法の挙動や収束の直感を掴むのに適している。 二次曲面では、曲率の大きさや軸方向の伸び縮み（等高線の楕円形の偏り）によって難易度が変化する。こうした要素は、アルゴリズムがスケーリングにどれほど敏感かを観察する際の教材にもなる。
3.1.2 条件付きでの最適化練習用関数
条件数が悪い（二次形式で言えば曲率の比が大きい）状況は、探索方向が偏りやすくなるため代表的な難所として扱われる。実験では、単峰であっても条件の悪さにより収束が遅くなることがある。 この種の試験関数は、非凸性を主因としない「数値・幾何学的な難しさ」を分離して観察する目的で使われることが多い。たとえば、スケーリングを調整する手法や、前処理による改善がどの程度効くかを比較できる。
3.2 多峰性を持つ例
3.2.1 谷が複数あるタイプの関数
多峰性の典型として、谷（局所最小が連なる領域）が複数存在する構造が挙げられる。谷の深さや間隔が異なると、探索戦略の違いが結果に反映されやすい。 こうした試験関数では、単純な局所探索は早期にある谷へ落ち込む可能性が高い。そのため、確率的探索や再初期化、あるいは大域探索と局所探索のハイブリッドが効果を持ちやすい。評価では、到達した解の質だけでなく、どの谷へ到達するかの分布も重要になることがある。
3.2.2 初期値依存性が現れやすい関数
初期値依存性は、アルゴリズムがどこから出発するかによって結果が変わる性質である。多峰性が強いとこの依存性は顕著になり、同一手法でも初期化のばらつきによって成績が上下する。 試験関数を用いる評価では、初期化規則を統一し、複数試行で平均や分散、成功率を比較することが必要になる。さらに、初期値依存性が大きい問題では「最良ケース」だけを報告すると誤解を招くため、統計的なまとめ方が重要になる。
3.3 高次元を想定した例
3.3.1 次元増加で難化しやすい構造
高次元では、同じ探索方針でも有効な探索領域が薄まり、局所的な改善が大域へ届きにくくなることがある。次元増加による難化の代表的な要因として、最適点近傍が相対的に小さくなること、探索空間の体積が急速に増えることがある。 試験関数では、次元を上げても性質（多峰性や曲率構造）が保持されるよう設計される場合がある。その結果、次元に応じた収束速度の変化を体系的に観察できる。
3.3.2 スケールの偏りがある関数
変数ごとのスケールが大きく異なると、更新量が特定の座標で過大または過小になりやすい。高次元ではこの効果が蓄積し、学習率や探索幅の調整が難しくなる。 試験関数のスケール偏りは、前処理や正規化の効果、適応的手法の優位性などを検証する材料になる。評価では、単に目的関数値の低下を見るだけでなく、各座標での寄与の変化や、数値安定性（発散や停滞）も観察対象となる。
3.4 制約を扱う例
3.4.1 制約違反がペナルティに反映される関数
制約付きの試験関数では、違反の大きさに応じて目的関数へペナルティを加える構成が用いられることが多い。違反が増えるほど罰が強くなるように設定することで、実行可能領域へ誘導する。 ペナルティ方式は、ペナルティ係数の大きさ次第で挙動が変わる。過小なら違反が残りやすく、過大なら実行可能性の探索が硬くなり、目的の改善が進みにくくなる場合がある。したがって試験関数と併せてペナルティ設計も評価設計の一部になる。
3.4.2 制約領域が複雑な関数
制約領域が複雑（分断される、境界がねじれる、細い実行可能帯が存在するなど）だと、解の探索はより困難になる。ここでは、実行可能領域への到達自体が難所となり得るため、評価指標として「実行可能性の達成度」を明示する必要がある。 試験関数では、実行可能領域の形状やサイズを調整し、制約境界近傍での挙動（境界摩擦、ペナルティの勾配の変化）を通じて手法の差が現れるよう工夫される。
4 試験関数を用いた評価方法
4.1 実験手順
4.1.1 初期化と反復回数の取り決め
比較実験では初期化の規則を定める。初期値の分布、初期点の選び方（格子、乱数、既知情報の利用）を統一しないと、結果の差が手法だけでなく初期条件に由来する。 反復回数（あるいは評価回数）についても取り決めが必要である。探索は停止条件により打ち切られるため、同じ反復回数でも「1反復あたりの計算コスト」が異なる手法では厳密な比較にならないことがある。よって評価回数や時間などの対応関係を明確にする。
4.1.2 探索範囲（変数範囲）の設定
探索範囲は難易度に直結する。範囲が狭すぎると最適解を含まない場合があり、広すぎると探索が散漫になって収束が遅れる。 試験関数側で自然なスケールが定義されていることもあるが、実験設計ではそのスケールをどの程度の範囲として与えるかを規定する必要がある。特に多峰性の問題では、領域の選び方によって到達可能な谷が変わり、成績が大きく左右される。
4.1.3 再現性のための乱数管理
確率的要素（初期化、サンプル生成、探索の分岐）を含むアルゴリズムでは、乱数種（シード）管理が再現性の中核になる。複数試行では、同じ種の系列を用いて手法間比較を行うことで、ランダム要因の偏りを抑える。 報告では、使用した乱数生成器の種類や、試行回数、シードの取り扱いを明確化することが望ましい。これにより追試者が同条件の再実験を行える。
4.2 成績の測り方
4.2.1 値（目的関数値）に基づく指標
目的関数値そのものは最も基本的な指標である。既知の最適値がある場合は、差分（相対誤差や絶対誤差）として評価できる。 ただし、試験関数のスケールによって値の大小が直接比較困難になることがあるため、正規化の有無を揃える必要がある。さらに、多峰性や平坦領域を含む問題では、値が同程度でも解の位置が異なる場合があるため、他の指標との併用が有効である。
4.2.2 解の近さ（誤差）に基づく指標
解の近さは、真の最適解（または既知の解集合）に対する距離として定義されることが多い。凸性が弱い場合や複数の最適解があり得る場合は、同値集合への近さとして定義する工夫が必要になる。 この指標は、目的関数値が似ていても実際の意思決定に必要な変数がずれていると問題になる状況で役立つ。たとえば設計変数としての解の妥当性が重要な場合、値ベースだけでは不十分になり得る。
4.2.3 計算量（評価回数・時間）に基づく指標
実用上は計算資源も性能の一部であるため、評価回数や実行時間での比較が行われる。特に、各反復内で勾配計算や追加サンプリングを必要とする手法では、同じ反復回数でも負担が変わる。 このため、計算量を揃えた条件（例：目的関数評価回数が同等になるまで比較）を設定することが望ましい。計算量に基づく指標は、実行可能性の観点でも解釈しやすい。
4.2.4 成功率や安定性の指標
成功率は「許容誤差以内に到達した回数の割合」のように定義できる。乱数や初期値の影響を受ける問題では、平均だけでなく成功率や分散が重要になる。 安定性は、ばらつきの大きさや、最悪ケースの挙動で評価されることが多い。報告では、分布に基づく要約（中央値、四分位範囲など）を併用すると、性能の偏りが見えやすい。
4.3 比較の落とし穴
4.3.1 早期停止条件の影響
早期停止は計算時間を抑える一方で、評価の公平性を崩し得る。停止条件が手法固有の挙動に強く依存すると、ある手法だけが早く“良い状態”を検出でき、別の手法は途中で切られる可能性がある。 比較では、停止条件を共通化するか、あるいは少なくとも停止の定義と発火の条件を明確にして解釈可能にする必要がある。
4.3.2 ハイパーパラメータ調整による偏り
ハイパーパラメータの調整は性能に大きく影響する。調整対象を特定手法だけに手厚く行うと、その結果が調整力の差になり得る。 研究では、調整の探索範囲、評価に使ったデータ（試験関数）と調整に使ったデータの分離、回数制限などを設計して、偏りの発生を抑える。特に試験関数を増やすと調整機会が増えるため、再利用のルールに注意が必要になる。
4.3.3 次元・スケール差の未考慮
試験関数間で次元やスケールが異なるのに、同一の評価基準や同一の停止閾値を適用すると不公平になる。たとえば、誤差閾値を絶対値で固定すると、高次元側で達成可能性が変わる。 比較では、次元に応じた正規化、スケールに対する整合、指標の選び方を統制し、結果が「問題設定の違い」に過度に依存しないよう配慮することが重要である。
5 科学的方法としての位置づけ
5.1 仮説と検証の枠組み
5.1.1 「性能差」をどう検証するか
試験関数を用いた評価は、ある仮説（例：探索戦略が多峰性で優位である）を検証するための手段として位置づけられる。性能差を「たまたまの偶然」から切り分けるには、複数試行と明確な比較基準が不可欠である。 また、単一の試験関数で差が出ても、それが一般性を持つとは限らない。そのため、仮説の射程に対応する形で試験関数集合を設計し、複数側面（形状、滑らかさ、制約）で検証することが求められる。
5.1.2 反復実験と統計的妥当性
乱数や初期条件の影響がある場合、反復実験により分布を推定することが必要になる。平均値の比較だけでなく、ばらつきの大きさを含めて解釈することで、主張の強度が適切になる。 統計的な妥当性は、試行数、独立性の扱い、評価指標のスケールに依存する。研究報告では、どの要約統計を用いたか、信頼区間や検定の有無、推定手順を明示すると追試が容易になる。
5.2 代表性と一般化
5.2.1 試験関数の選び方の妥当性
一般化の成否は、選定した試験関数が対象領域の多様性をどれだけ反映しているかに左右される。たとえば、凸性に偏った試験だけでは、非凸問題での優位性を過大評価するおそれがある。 妥当な選定には、研究目的に沿った要因（非凸性、制約形状、ノイズ、スケール偏りなど）をカバーする方針が必要になる。試験関数集合は「網羅」ではなく「目的に照らした代表性」を持つことを狙うべきである。
5.2.2 現実問題への外挿の限界
現実の最適化や推論は、モデル化誤差、データ依存のノイズ、評価関数の複雑さ、計算制約など多層の要因を含む。試験関数はこれらを単純化するため、性能が直接同じ形で移植されない場合がある。 外挿には限界があることを前提に、試験関数で得た知見を実問題に適用する際の追加検証（小規模な実データ、段階的な条件合わせ）が重要になる。
5.3 妥当性の確保
5.3.1 手順の透明性（レポーティング）
妥当性を支える要素として、手順の透明性がある。何の試験関数を使ったか、パラメータはどう設定したか、試行回数、停止条件、評価指標、乱数管理など、追試に必要な情報を報告することが求められる。 特に比較研究では、手法側の調整条件や計算負荷の扱いを曖昧にすると解釈が困難になる。レポートが十分に詳細であるほど、読者は結果の妥当性を自分の理解に基づいて再評価できる。
5.3.2 データとコードの公開に関する考え方
公開は追試性を高める。試験関数の設定、実験ログ、集計手順、コードの提供は、再現性の検証を容易にする。 一方で、データやコードの公開にはプライバシー、ライセンス、計算資源の都合などの制約があり得る。その場合でも、少なくとも実験設定と集計可能な形の情報（パラメータ表、乱数種の扱い、集計スクリプト）を整備し、独立に検証できる状態を目指すことが望ましい。