1 定義と基本概念
上下文学习（In-Context Learning）とは、大規模言語モデル（LLM）が、パラメータの更新や明示的な追加学習を行うことなく、プロンプト内に提示された例示（デモンストレーション）や指示からパターンを抽出し、未知の入力に対して適切な出力を生成する能力を指す。この現象はGPT-3以降のモデルで顕著に観測され、従来の教師あり学習とは異なる新たなモデル適応手法として注目を集めている。
1.1 上下文学習の位置づけ
上下文学習は、モデルの事前学習と推論の間に位置づけられる。事前学習で獲得された汎用的な知識を基盤とし、プロンプト内のコンテキストを手がかりに特定タスクに適応するという点で、他の学習パラダイム（ファインチューニング、メタ学習など）と明確に区別される。特に、追加の計算コストやデータを必要としないため、迅速なタスク適応が可能である。
1.2 Few-Shot・One-Shot・Zero-Shotの違い
上下文学習は、プロンプト内に提供される例示の数によって、以下の3つのモードに分類される。
- Few-Shot（数発）学習: 複数の例示（通常2〜数十個）をプロンプトに含める。最も一般的な設定で、モデルは例示からタスクパターンを学習する。
- One-Shot（単発）学習: 1つの例示のみを提供する。例示が少数であるため、モデルはより抽象的な指示の理解に依存する。
- Zero-Shot（ゼロ発）学習: 例示を一切与えず、タスクの説明（指示）のみで出力を生成する。モデルの事前知識と指示理解能力に完全に依存する。
これらの手法は、タスクの複雑さや利用可能な例示の数に応じて選択される。
1.3 関連用語（プロンプトエンジニアリング、メタ学習）
上下文学習は、プロンプトエンジニアリング（プロンプトの設計・最適化手法）と密接に関連する。プロンプトエンジニアリングは、モデルの出力品質を向上させるためのプロンプト構成法を探求する分野であり、上下文学習はその核心的な動作原理を提供する。また、メタ学習（学習の学習）は、複数のタスクにわたって汎化する能力をモデルに付与する手法で、上下文学習が暗黙のメタ学習として機能するという仮説が提唱されている。
2 歴史と発展
2.1 初期の言語モデルにおける事例
上下文学習の概念自体は、GPT-3以前の言語モデル（例えばBERTやGPT-2）でも限定的に観測されていた。これらのモデルでも、プロンプト内の例示を利用してタスクを実行できることが報告されたが、その効果は限定的であり、主にパラメータ数が小さかったため顕著な能力とは認識されていなかった。
2.2 GPT-3による顕在化
2020年に公開されたGPT-3（1750億パラメータ）は、上下文学習能力を劇的に示した最初のモデルである。GPT-3の論文では、翻訳、質問応答、創作文章生成など多様なタスクにおいて、ファインチューニングを行わずにFew-Shotプロンプトだけで高い性能を達成できることが報告された。これにより、上下文学習は大規模言語モデルの主要な機能として研究者コミュニティに認知されることとなった。
2.3 その後の改善と拡張（InstructGPT、ChatGPTなど）
GPT-3の成功を受け、上下文学習の性能を向上させるための様々な手法が開発された。InstructGPTでは人間のフィードバックによる強化学習（RLHF）を導入し、プロンプトに対する指示追従能力が大幅に改善された。ChatGPTはこの技術を基に、対話形式での上下文学習を実現し、ユーザーが例示を自然な会話内で提供できるようにした。さらに、GPT-4ではプロンプト理解の精度が飛躍的に向上し、ゼロ発学習でも高いパフォーマンスを発揮するようになった。
3 メカニズムの解明
上下文学習の動作メカニズムは完全には解明されていないが、複数の仮説と実験的検証が進められている。
3.1 仮説：暗黙のメタ学習
この仮説では、事前学習中にモデルが多数のタスクにまたがるパターンを学習し、そのメタ知識を推論時に利用していると考える。つまり、モデルは「与えられた例示からタスクを推測し、それに従って出力を生成する方法」そのものを学習しているという見方である。具体的には、事前学習データ内の自然な文章構造（例えば、Q&A形式の対話）から、「例示→タスク推論→回答」という手続きを獲得したとされる。
3.2 仮説：パターン認識と検索
別の仮説では、モデルはプロンプト内の例示を単なるパターンの手がかりとして捉え、事前学習で蓄積された記憶から類似パターンを検索して出力を生成するとされる。このメカニズムは、大規模な知識ベースからの関連情報の抽出として機能し、特に例示数が少ない場合に顕著であるとされる。
3.3 仮説：内部状態の動的適応
より最近の研究では、プロンプト内の例示によってモデルの内部表現（隠れ状態）が動的に変化し、その後のトークン生成に影響を与えるという機構が提案されている。これは、モデルがコンテキストを処理する過程で、いわば「仮想的な」モデル更新を内部で行っていると解釈できる。具体的には、アテンション機構を介して例示の情報が埋め込み空間に投影され、その後の推論に利用される。
3.4 実験的検証手法（勾配解析、介入実験）
これらの仮説を検証するために、様々な実験手法が用いられている。勾配解析では、モデルの内部勾配を追跡し、例示がどの層やヘッドに強く影響を与えているかを調査する。介入実験では、プロンプト内の一部の例示を意図的に変更したり、特定のパラメータを固定することで、上下文学習の因果関係を探る。これらの手法により、上記の各仮説を部分的に支持する証拠が得られているが、統一的な理論モデルは未だ確立されていない。
4 実践的な利用方法
4.1 プロンプト設計の基本
4.1.1 例示の選び方
例示はタスクの特性を正確に反映したものを選ぶ必要がある。一般的に、以下の原則が有効とされる。
- 多様性: 可能であれば、入力の分布をカバーする多様な例を選ぶ。
- 代表性: 各例はタスクの典型的なパターンを示すこと。
- ラベルのバランス: 分類タスクでは、各クラスの例を均等に含める。
4.1.2 フォーマットの工夫
プロンプトのフォーマットはモデルの理解に大きな影響を与える。以下の点が重要である。
- 一貫した構造: 例示とクエリで同じフォーマット（例：質問と回答のペア）を使用する。
- 区切り記号の活用: 例示とクエリを明確に区別する記号（改行、コロンなど）を用いる。
- 指示の明示: タスクの目的を簡潔に説明する指示文を冒頭に置くと効果的。
4.2 タスク別の適用事例
4.2.1 テキスト分類
プロンプトに複数の分類例（「「この映画は面白かった」 → 肯定的」、「「退屈だった」 → 否定的」など）を含めることで、未知のテキストの極性分類が可能となる。ゼロ発での分類よりも精度が向上する。
4.2.2 翻訳
例として「Hello → こんにちは」「Goodbye → さようなら」のような単語ペアを数個与えるだけで、未知の文の翻訳がFew-Shotで実行できる。特に特定のドメイン内での翻訳精度が向上する。
4.2.3 コード生成
「「ユーザー名を入力してください」と表示するコードを書いてください → print(input("ユーザー名を入力してください"))」のような例を与えると、モデルは類似したコード生成タスクを推論できる。問題の説明と出力の対応を学習する。
4.3 性能向上のためのテクニック
4.3.1 ラベルの順序バイアス対策
モデルはプロンプト内のラベルの順序に影響を受ける傾向がある。例えば、分類タスクで肯定的な例を先に配置すると、肯定的な予測が増える。このバイアスを避けるために、ラベルの順序をランダムに変更する、またはすべてのラベルの例を均等に配置するといった対策が有効である。
4.3.2 多様な例示の提供
例示の内容や表現を多様化することで、モデルが過学習するリスクを減らし、未知の入力に対する頑健性を高めることができる。特に、入力の長さ、スタイル、語彙が異なる例を含めると効果的である。
5 限界と課題
5.1 コンテキスト長の制約
モデルが処理できるコンテキスト長には上限が存在する。そのため、提供できる例示の数や、複雑なタスクの指示には限界がある。長いプロンプトは計算コストも増加させる。
5.2 例示の質への依存
上下文学習の性能はプロンプト内の例示の質に大きく依存する。不適切な例や偏った例を含めると、誤ったパターンが学習され、出力品質が低下する。例示の選定には注意が必要である。
5.3 頑健性とバイアスの問題
プロンプト内の些細な変更（語尾の変化、スペースの有無など）によって出力が不安定になることがある。また、事前学習データに内在するバイアス（性別、人種など）が例示を通じて増幅される可能性があり、公平性の問題が指摘されている。
5.4 計算コストと速度
上下文学習は追加学習を必要としないものの、プロンプトが長くなると推論時の計算コストが増加する。また、モデルはプロンプト全体を処理するため、リアルタイム性が求められるアプリケーションでは速度面での課題がある。
6 研究の最前線
6.1 理論的統一モデルの構築
現在、複数の仮説が併存している上下文学習のメカニズムを、統一的な理論モデルで説明しようとする研究が進められている。例えば、事前学習におけるマスク言語モデルや因果的言語モデルの訓練目的と、上下文学習の関係性を数学的に定式化する試みがある。
6.2 マルチモーダル文脈での拡張
上下文学習はテキストだけでなく、画像や音声を含むマルチモーダルなプロンプトにも拡張されつつある。例えば、画像とテキストのペアを例示として与えることで、視覚質問応答や画像キャプション生成をFew-Shotで実行する研究が行われている。
6.3 オンライン学習との融合
上下文学習を動的な環境で利用するために、プロンプトを逐次的に更新しながらモデルの行動を適応させるオンライン学習との融合が研究されている。これにより、ユーザーとの対話を通じてモデルが継続的に改善される可能性がある。
6.4 面白い応用と文化への影響（軽いネットミームやジョーク生成における上下文学習）
上下文学習の能力は、軽いエンターテインメント分野でも活用されている。例えば、特定のジョークのパターン（「〇〇って知ってる？あれだよ、□□」）を示すことで、モデルが新しいジョークを生成できる。また、ネットミームのテンプレートに従って画像説明文を生成するなど、創造的な応用が広がっている。これらの応用は、モデルの学習メカニズムが人間のユーモア理解とどのように関連するかという興味深い研究テーマを提供している。
7 関連項目と参考文献
関連項目
- 大規模言語モデル (LLM)
- プロンプトエンジニアリング
- メタ学習
- Few-Shot Learning
- ゼロ発学習 (Zero-Shot Learning)
- 転移学習
- 勾配解析
- マルチモーダル学習
- オンライン学習
参考文献
- Brown, T., et al. (2020). Language Models are Few-Shot Learners. *NeurIPS*.
- Ouyang, L., et al. (2022). Training language models to follow instructions with human feedback. *arXiv preprint*.
- Min, S., et al. (2022). Rethinking the Role of Demonstrations: What Makes In-Context Learning Work? *EMNLP*.
- Xie, S. M., et al. (2022). An Explanation of In-context Learning as Implicit Bayesian Inference. *ICLR*.
- Dai, D., et al. (2023). Why Can GPT Learn In-Context? Language Models Secretly Perform Gradient Descent as Meta-Optimizers. *ACL*.