1 歴史と背景
1.1 開発の動機
LightGBMは、Microsoftの研究チーム（主にGuolin Keら）によって2016年に発表された。従来の勾配ブースティング（GBDT）実装は大規模データセットにおいてトレーニング時間とメモリ消費が課題であった。特に、特徴量の数が多くサンプル数が膨大な場合、全ての可能な分割点を評価するLevel-wise成長戦略は計算コストが高かった。LightGBMはこの問題を解決するために、計算効率を最大化しつつ、過学習を抑制する新しい手法（GOSS、EFB）を導入した。また、オープンソースコミュニティの要請に応え、分散学習やGPUサポートなど実用的な機能も早期に取り入れられた。
1.2 XGBoostとの比較
XGBoostはそれ以前の標準的なGBDT実装であり、正則化やカラムサンプリングなどの改良により高い性能を誇った。LightGBMはXGBoostと比較して以下の点で差別化を図った。第一に、Leaf-wise木成長戦略により、同じ反復数でより深い木を生成し、損失低減が速い。第二に、GOSS（勾配ベースのサンプリング）により、重要でないインスタンスを削減しながら精度を維持する。第三に、EFB（排他的特徴バンドル）により、疎な特徴量を束ねて次元を削減する。これらの工夫により、LightGBMはXGBoostより最大20倍高速なトレーニングを達成し、メモリ使用量も大幅に削減された。ただし、XGBoostと比較して小規模データでは過学習しやすい傾向があり、パラメータ調整が重要となる。
2 アルゴリズムの特徴
2.1 勾配ベースのワンサイドサンプリング（GOSS）
GOSSは、データサンプリングの手法である。通常のランダムサンプリングでは重要なインスタンスが失われる可能性がある。GOSSでは、勾配の絶対値が大きいインスタンス（学習に寄与する）は全て保持し、勾配が小さいインスタンスからはランダムに一部を選択する。選択されなかった小勾配インスタンスの影響を補正するため、サンプリングされた小勾配インスタンスには定数乗数（(1-a)/b）を掛けて重み付けする。これにより、データ分布を歪めずに計算量を削減できる。
2.2 排他的特徴バンドル（EFB）
高次元の疎なデータでは、多くの特徴量が同時に非ゼロになることが少ない（排他的な関係）。EFBはそのような排他的特徴をバンドル（結合）して1つの特徴量に変換する。具体的には、特徴量間の衝突（共に非ゼロになる割合）を最小化するグラフ彩色問題として定式化し、ヒューリスティックにバンドルを構成する。これにより、特徴量の次元数が削減され、分割点探索の計算量が軽減される。バンドル後の特徴量は元の値を保持するようにエンコードされる。
2.3 決定木の成長戦略（Leaf-wise vs Level-wise）
従来のLevel-wise（深さ方向）成長は、同じ深さの全ての葉を同時に分割するため、均衡の取れた木を生成する。一方、Leaf-wise（葉ノード方向）成長は、損失減少が最大となる葉ノードのみを分割する。これにより、同じ分割数（反復数）でより深い木が得られ、損失の低減が速い。ただし、過学習リスクが高まるため、max_depthやnum_leavesなどの制約パラメータで木の複雑さを制御する必要がある。LightGBMはLeaf-wise戦略を採用し、効率的なヒストグラムベースの分割点探索と組み合わせることで高速な学習を実現している。
3 実装と利用方法
3.1 インストール
LightGBMはPythonパッケージとしてpipで簡単にインストールできる。コマンドはpip install lightgbm。Windows、macOS、Linuxに対応し、GPUバージョンはpip install lightgbm --install-option=--gpuなどで導入可能。R言語、Java、C++、Juliaなど他の言語向けのバインディングも提供されている。ソースコードからビルドする場合は、CMakeとコンパイラ（gcc、MSVC）が必要。
3.2 主要なパラメータ
3.2.1 学習率と反復数
learning_rate（デフォルト0.1）は各ブースティングステップの寄与を調整する。小さい値にすると過学習を抑制できるが、反復数（n_estimatorsまたはnum_iterations）を増やす必要がある。一般的に、学習率と反復数はトレードオフの関係にあり、学習率を小さくして反復数を多くすると汎化性能が向上することが多い。early_stopping_roundsを設定することで、検証データの性能が改善しなくなった時点で自動停止できる。
3.2.2 木の深さと葉ノード数
num_leaves（デフォルト31）は1つの木における最大葉ノード数を指定する。Leaf-wise成長では深さよりも葉数が木の複雑さを決める。max_depth（デフォルト-1、制限なし）で深さを制限すると過学習を抑制できる。min_data_in_leafは1つの葉に含まれる最小データ数で、これを大きくするとノイズに強いモデルになる。また、lambda_l1、lambda_l2などの正則化パラメータも重要である。
3.3 Pythonインターフェースの基本
LightGBMはscikit-learnインターフェース（LGBMClassifier、LGBMRegressor）とネイティブAPI（train()関数）を提供する。前者はsklearnとの互換性が高く、fit()、predict()メソッドで利用できる。後者は学習データと検証データをDatasetオブジェクトにラップして渡し、コールバックや詳細なログ出力が可能。カテゴリカル特徴はcategorical_featureパラメータで指定し、自動的に最適なエンコーディングが行われる。予測はpredict()でクラス確率や回帰値を取得できる。
4 パフォーマンスとベンチマーク
4.1 速度とメモリ使用量
LightGBMは他のGBDT実装と比較してトレーニング速度が著しく速い。ベンチマークでは、大規模データ（数百万サンプル、数千特徴）においてXGBoostの約5～20倍の高速化を達成した報告がある。メモリ使用量もヒストグラムベースのアルゴリズムにより、XGBoostのexact greedy法と比較して約半分になる。特に、カテゴリカル特徴を持つデータではEFBの効果が大きく、疎なデータで顕著な改善が見られる。
4.2 精度比較
精度面では、適切にパラメータ調整されたLightGBMはXGBoostと同等以上の性能を示す。しかし、データサイズが小さい場合（数千サンプル以下）や、ノイズの多いデータではLeaf-wise戦略が過学習を起こしやすく、慎重なチューニングが必要。公開ベンチマーク（Higgs、Yahoo LTR、Flight Delayなど）では、LightGBMはXGBoostと同等または優れたAUC、RMSEを達成する一方、訓練時間は大幅に短い。
5 応用分野
5.1 ランキング問題
LightGBMはランキング学習（LambdaRank、NDCG最適化）をネイティブサポートしている。検索エンジンのクリックスルー率予測や推薦システムのアイテムランキングなど、順序付きリストの予測に利用される。objective='lambdarank'を指定し、labelには関連度スコア、groupにはクエリごとのドキュメント数を設定する。大規模なクエリログデータを高速に処理できる点で商用サービスにも採用されている。
5.2 分類と回帰
二値分類、多クラス分類、回帰問題に広く適用される。それぞれbinary、multiclass、regressionなどのobjectiveを選ぶ。特徴量エンジニアリングが容易であり、欠損値の自動処理（nanを最適な方向に振り分ける）やカテゴリカル特徴の組み込み処理により、前処理の手間を減らせる。銀行の与信判断、医薬品の副作用予測、価格予測モデルなど様々な業界で利用されている。
5.3 Kaggleコンペティションでの活用
Kaggleのテーブルデータコンペティションでは、LightGBMは最も頻繁に使われるアルゴリズムの一つである。高速なトレーニングにより多数のモデルをアンサンブルする実験が容易で、XGBoostやCatBoostと組み合わせたスタッキング手法も一般的。特に、大規模データ（数百万行）やカテゴリカル特徴が多いデータ（例えば、Home Credit Default Risk、Microsoft Malware Prediction）で優位性を発揮する。
6 制限と今後の展望
6.1 既知の制約
LightGBMのLeaf-wise成長は過学習しやすいため、小規模データではXGBoostやCatBoostに劣ることがある。また、高次元のスパースデータ（例えばテキストN-gram）ではEFBが効果的だが、密なデータに対する速度向上は限定的。さらに、デフォルトパラメータではマルチスレッド時のスケーラビリティにやや課題があり、分散環境での設定には注意が必要。カテゴリカル特徴の扱いはCatBoostほど洗練されていない（ターゲットエンコーディングは別途実施が必要なケースがある）。
6.2 最新の開発動向
2020年代に入り、LightGBMは継続的に改善が行われている。GPUトレーニングの高速化（CUDAベース）、DaskやSparkとの統合による大規模分散学習、量子化ブースティング（qboost）の実験的サポート、推論時の最適化（Cライブラリの軽量化）などが進められている。また、ニューラルネットワークとのハイブリッドモデルや、AutoMLフレームワーク（Optuna、FLAML）との連携が容易になり、実運用での利便性が向上している。MicrosoftはLightGBMをAzure Machine LearningやML.NETに組み込んでおり、今後もテーブルデータ学習の主力ツールとして発展が期待される。