1 はじめに
1.1 定義と歴史的背景
Gradient Boosting Tree（勾配ブースティング木）は、アンサンブル学習手法の一つであり、逐次的に構築される複数の決定木を組み合わせることで、単一のモデルよりも高い予測精度を実現する。この手法は、1999年にJerome Friedmanによって一般化された勾配ブースティングフレームワークに基づき、損失関数の勾配方向にモデルを更新する点に特徴がある。2000年代以降、計算機性能の向上とともに実用的な実装が登場し、データサイエンス分野における標準的な手法として定着した。
1.2 ブースティングの一般概念
ブースティングは、複数の弱学習器を逐次的に訓練し、それらを重み付きで結合することで強学習器を構成するアンサンブル手法である。各ステップでは、前のモデルが誤分類したサンプルや大きな誤差を残したサンプルに重点を置き、新たな学習器がその弱点を補完する。これにより、個々の学習器のバイアスとバリアンスの両方を低減し、汎化性能を向上させる。
2 基本原理
2.1 勾配降下法による逐次最適化
Gradient Boosting Treeは、関数空間における勾配降下法として定式化される。現在のモデルの予測値と真の値との間の損失関数を最小化するために、各反復において損失関数の負の勾配を目標値として新しい学習器をフィッティングする。これにより、モデルは損失関数の減少方向に逐次的に更新される。
2.2 決定木の役割と弱学習器
決定木は、弱学習器として用いられる。個々の木は浅く、深さ制限や葉ノード数の制限を設けることで、過学習を防ぎながらもバイアスを低く抑える。各木は、前の木が残した残差（勾配）を学習するため、全体として複雑な非線形関係を捉えることができる。
2.3 損失関数と残差の関係
損失関数はタスクに応じて選択される（例：二乗損失は回帰、ロジスティック損失は分類）。最初のモデルから始め、各ステップでモデルの予測値と真値との差（残差）を計算し、その残差を新しい木が学習する。実際の勾配ブースティングでは、損失関数の勾配が残差の役割を果たし、これを目標値として木が成長する。
3 アルゴリズムの詳細
3.1 一般的な学習手順
- 初期モデルを定数（例えば目的変数の平均値）で初期化する。
- 各反復（M回）において：
a. 現在のモデルにおける損失関数の負の勾配を計算する。 b. この勾配を目標値として決定木を学習する。 c. 学習された木を縮小係数を用いてモデルに加える。
- 全反復終了後、全ての木の予測値を合計したものが最終モデルとなる。
3.2 正則化手法
3.2.1 木の深さ制限と枝刈り
木の複雑さを抑制するために、最大深さや葉ノードの最小サンプル数を設定する。また、事前枝刈りや事後枝刈りを導入し、分割による改善が一定閾値以下であれば分割を停止する。これにより、過学習を防ぎつつ、計算効率を向上させる。
3.2.2 縮小係数（学習率）
各木の寄与を縮小するために、学習率（η）を乗じる。学習率を小さくするほど、より多くの木が必要となるが、汎化性能が向上する傾向がある。典型的には0.01～0.3の範囲が用いられる。
3.3 サブサンプリングと列サンプリング
サブサンプリングは、各反復で使用する訓練データの一部をランダムに抽出する手法であり、バリアンス低減に寄与する。列サンプリングは、分割時に考慮する特徴量のサブセットを選択する方法で、ランダムフォレストと類似した効果をもたらす。これらは確率的勾配ブースティングとも呼ばれ、計算負荷の軽減と過学習防止に役立つ。
4 代表的な実装
4.1 XGBoost
4.1.1 特徴と最適化
XGBoostは、勾配ブースティングの高速実装として広く普及している。特徴として、正則化項を損失関数に組み込むことで過学習を抑制し、重み付き分位数スケッチによる高速な分割点探索を実現する。また、並列処理やキャッシュ最適化により、大規模データセットでも効率的に動作する。
4.1.2 スケーラビリティ
XGBoostは、分散コンピューティング環境（Spark、Daskなど）に対応しており、複数ノードでの並列学習が可能である。ブロック構造を用いたデータ圧縮や、外部メモリ学習機能により、メモリ容量を超えるデータも扱える。
4.2 LightGBM
4.2.1 GOSSとEFB
LightGBMは、訓練効率を高めるためにGradient-based One-Side Sampling（GOSS）とExclusive Feature Bundling（EFB）を導入する。GOSSは、大きな勾配を持つサンプルを優先的に保持し、小さな勾配のサンプルをランダムにサブサンプリングすることで、計算量を削減する。EFBは、疎な特徴量を束ねて次元削減を行う。
4.2.2 葉方向成長
LightGBMは、レベル方向成長ではなく、葉方向（leaf-wise）成長を採用する。これは、損失減少が最大となる葉ノードを分割する方式であり、深さ方向より早く収束するが、過学習リスクが高いため、深さ制限や正則化パラメータの調整が必要となる。
4.3 CatBoost
4.3.1 カテゴリ特徴の処理
CatBoostは、カテゴリ特徴をそのまま扱えるように設計されている。ターゲットエンコーディングに伴うデータリークを防ぐため、順序統計量に基づく方法を使用する。特に、順序付きターゲットエンコーディングにより、過学習を抑えつつ高精度な処理を実現する。
4.3.2 順序ブースティング
CatBoostは、順序ブースティング（ordered boosting）と呼ばれる手法を導入する。これは、各データポイントに対して、そのデータポイントが訓練に使用されていない履歴モデルのみを用いて予測を行うことで、勾配バイアスを低減する。これにより、汎化性能が向上する。
5 応用と実践
5.1 回帰問題
Gradient Boosting Treeは、住宅価格予測、気象データ分析、需要予測などの回帰タスクで高い性能を発揮する。連続値の予測に対して、二乗損失や絶対損失を最小化するようにモデルが学習される。
5.2 分類問題
二値分類や多値分類において、ロジスティック損失やソフトマックス損失を用いることで、確率的な出力が得られる。医療診断、クレジットスコアリング、画像分類（特徴量抽出後）など、幅広い分野で利用される。
5.3 ランキングと推薦
ランキングタスク（例えば検索エンジンやレコメンデーションシステム）では、ペアワイズ損失やリストワイズ損失を用いてアイテムの順序を学習する。XGBoostやLightGBMはランキング目的関数を標準でサポートしている。
5.4 異常検知
異常検知では、正常データの分布を学習するために勾配ブースティングを使用する。残差や異常スコアに基づいてデータ点の異常度を評価し、金融取引の不正検知や製造業の品質管理に応用される。
6 限界と課題
6.1 過学習リスクと対策
弱学習器を多数追加すると、訓練データに過適合するリスクがある。これを防ぐために、木の深さ制限、学習率の低減、サブサンプリング、早期停止（early stopping）などの正則化手法が用いられる。適切なハイパーパラメータ調整が不可欠である。
6.2 解釈性の難しさ
多数の決定木からなるアンサンブルは、単一の決定木と比較して解釈が困難である。特徴重要度や部分依存プロットなどの説明手法が存在するが、複雑な相互作用を完全に把握することは難しい。このため、説明責任が求められる領域では深層学習と同様の課題に直面する。
6.3 大規模データでの計算コスト
訓練データが極めて大規模（数千万サンプル以上）になると、反復的な木構築に要する計算時間とメモリ消費が問題となる。LightGBMやCatBoostによる最適化が行われているが、それでも大規模データでは分散処理や近似手法が必要となる場合がある。
7 関連手法との比較
7.1 ランダムフォレストとの違い
ランダムフォレストはブートストラップサンプリングとランダム特徴選択を用いて独立に木を構築し、それらの平均または多数決で予測する。一方、Gradient Boosting Treeは逐次的に木を追加し、前の木の誤差を修正する。ランダムフォレストはバリアンス低減に優れ、勾配ブースティングはバイアス低減に優れる傾向がある。
7.2 AdaBoostとの関係
AdaBoostは、誤分類されたサンプルの重みを増加させることで逐次学習を行うが、損失関数として指数損失を使用する。Gradient Boosting Treeは、任意の微分可能な損失関数に対応できる一般化であり、AdaBoostは特別な場合と見なせる。勾配ブースティングは、より柔軟な最適化フレームワークを提供する。
7.3 深層学習との使い分け
深層学習は、画像、自然言語、音声などの高次元かつ構造化されていないデータに強みを持つ。それに対し、Gradient Boosting Treeは、表形式データや特徴量が明示的に定義されたタスクで高い性能を示し、訓練に必要なデータ量が比較的少なく、ハイパーパラメータ調整も容易である。両者は相補的に利用されることが多い。
8 参考文献
- Friedman, J. H. (2001). Greedy function approximation: a gradient boosting machine. *Annals of Statistics*, 29(5), 1189-1232.
- Chen, T., & Guestrin, C. (2016). XGBoost: a scalable tree boosting system. *Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining*, 785-794.
- Ke, G., et al. (2017). LightGBM: a highly efficient gradient boosting decision tree. *Advances in Neural Information Processing Systems*, 30, 3146-3154.
- Prokhorenkova, L., et al. (2018). CatBoost: unbiased boosting with categorical features. *Advances in Neural Information Processing Systems*, 31, 6638-6648.
- Hastie, T., Tibshirani, R., & Friedman, J. (2009). *The Elements of Statistical Learning* (2nd ed.). Springer.