1 歴史と発展
1.1 GPT-1（2018年）
OpenAIは2018年6月、初のGenerative Pre-trained TransformerモデルであるGPT-1を発表した。パラメータ数は約1億1700万であり、従来のタスク特化型モデルとは異なり、大規模な教師なしテキストデータによる事前学習を行った後、様々な下流タスクに対して微調整を行うというパラダイムを確立した。BooksCorpusデータセット（約7000冊の未出版書籍）で学習され、自然言語推論や質問応答などのタスクで当時の最先端性能を達成した。
1.2 GPT-2（2019年）
2019年2月、OpenAIはパラメータ数15億のGPT-2を発表した。当初は「危険すぎる」として完全なモデル公開を差し控え、縮小版のみをリリースしたことで大きな議論を呼んだ。GPT-2は多様なドメインで一貫性のある長文テキストを生成する能力を示し、特にゼロショット設定での性能向上が顕著だった。WebTextと呼ばれる800万ページ以上のウェブページデータで学習され、翻訳・要約・質問応答などのタスクで教師あり学習モデルに迫る成果を挙げた。
1.3 GPT-3（2020年）
2020年6月、GPT-3が発表された。パラメータ数は1750億に達し、モデル規模のスケーリングが性能に与える影響を決定的に示した。
1.3.1 パラメータ数と性能の飛躍
GPT-3はGPT-2の117倍以上のパラメータを持ち、学習データはCommon Crawl、WebText2、Books、Wikipediaなどの大規模コーパスを約570GBにわたって使用した。この規模の拡大により、文章生成の流暢さと一貫性が飛躍的に向上し、人間が作成したテキストと区別がつきにくいレベルに達した。
1.3.2 ゼロショット・少数ショット学習
GPT-3の最大の革新は、タスク特化の微調整を行わずに、プロンプトに数例の例示を与えるだけで（少数ショット学習）、あるいは全く例示なしでも（ゼロショット学習）、多様なタスクを遂行できる能力だった。これにより、機械翻訳、質問応答、文章完成などのタスクで、専用モデルに匹敵する性能を発揮した。
1.4 GPT-3.5とCodex（2021-2022年）
2021年、OpenAIはGPT-3の改良版であるGPT-3.5シリーズをリリースした。コード生成に特化したCodexモデルは、GitHubの公開リポジトリで学習され、自然言語からプログラムコードを生成する能力を獲得した。2022年11月には、GPT-3.5を基盤としたChatGPTが公開され、対話型AIとして爆発的な普及を見せた。
1.5 GPT-4（2023年）
2023年3月、OpenAIはGPT-4を発表した。パラメータ数は非公開だが、GPT-3よりも大幅に大規模であると推定されている。
1.5.1 マルチモーダル対応
GPT-4はテキストに加えて画像も入力として受け付けるマルチモーダル機能を初めて導入した。ユーザーが画像をアップロードすると、その内容を理解し、説明や分析を提供できるようになった。これにより、図表の解釈、手書きメモの読み取り、写真の状況説明などが可能となった。
1.5.2 安全性とアライメント
GPT-4では強化学習による人間の嗜好への適合（RLHF）が大幅に改善され、有害な出力の抑制と有用性のバランスが向上した。また、モデルの振る舞いを制御する「システムメッセージ」機能が強化され、出力のスタイルや制約を細かく指定できるようになった。
2 技術的特徴
2.1 アーキテクチャ
2.1.1 Transformerの基本構造
Transformerは2017年にGoogleが発表したアテンション機構に基づくニューラルネットワークアーキテクチャである。自己アテンション（Self-Attention）機構により、入力系列内の任意の位置間の依存関係を直接モデル化できる。マルチヘッドアテンションを用いて異なる表現部分空間で並列に情報を抽出し、フィードフォワードニューラルネットワークと層正規化（Layer Normalization）を組み合わせた構造を持つ。
2.1.2 デコーダーオンリー設計
GPTシリーズはTransformerのデコーダー部分のみを使用する「デコーダーオンリー」アーキテクチャを採用している。これは、入力系列に対してマスク付き自己アテンションを適用し、未来のトークンを参照できないようにすることで、テキスト生成に特化した設計となっている。エンコーダー・デコーダー構造を持つBERTなどのモデルと異なり、GPTは左から右への自己回帰的なテキスト生成を効率的に行う。
2.2 学習方法
2.2.1 教師なし事前学習（自己教師あり学習）
GPTシリーズの学習は、まず大規模なテキストコーパスを用いた教師なし事前学習から始まる。具体的には、与えられた文脈から次の単語を予測する「次トークン予測」タスクを学習する。この過程で、モデルは文法、知識、推論パターンなどを暗黙的に学習する。学習データの規模はGPT-1の約4.5GBからGPT-3の約570GBへと拡大した。
2.2.2 ファインチューニングとRLHF
事前学習の後、特定のタスクに対して教師あり学習による微調整（ファインチューニング）が行われる。GPT-3.5以降では、人間のフィードバックからの強化学習（RLHF）が導入された。まず人間の評価者による出力の選好データを収集し、報酬モデルを学習する。その後、強化学習（特に近接方策最適化、PPO）を用いて、言語モデルを報酬モデルの評価に従って最適化する。これにより、より有用で安全な応答を生成できるようになる。
2.3 スケーリング則
2.3.1 パラメータ数とデータ量の関係
GPTシリーズの研究により、モデルの性能はパラメータ数、学習データ量、計算量の3要素に依存することが明らかになった。スケーリング則（Scaling Laws）は、これらの要素が適切にバランスされることで性能が対数的に向上することを示している。GPT-3以降、パラメータ数とデータ量の両方を同時に増やすことが重要であると認識され、より大規模なモデルと高品質なデータセットの開発が進められている。
2.3.2 創発的能力
モデル規模が一定の閾値を超えると、小規模モデルでは見られなかった能力が突如として現れる現象が観察された。これらを創発的能力（Emergent Abilities）と呼ぶ。例として、算術計算、複数ステップの推論、翻訳、コード生成などが、GPT-3の規模で初めて顕著に現れた。この発見は、より大規模なモデル開発の動機付けとなっている。
3 主要な機能と応用
3.1 自然言語生成
3.1.1 テキスト補完・要約
GPTシリーズは、与えられたプロンプトに続く自然な文章を生成するテキスト補完機能を持つ。また、長文の文書を短く要約する能力にも優れており、ニュース記事の要点抽出や学術論文のアブストラクト生成などに活用される。
3.1.2 創造的執筆（詩・物語・脚本）
GPT-3以降のモデルは、詩、短編小説、脚本、広告コピーなど創造的な文章生成が可能である。プロンプトに文体やテーマを指定することで、特定の作家風の文章やジャンルに特化した作品を生成できる。人間の創作活動の補助ツールとして利用されることが増えている。
3.2 対話システム
3.2.1 ChatGPTの登場と普及
2022年11月に公開されたChatGPTは、GPT-3.5を搭載した対話型AIサービスである。無料で利用できる点と、人間と自然な対話ができる点が評価され、公開から2ヶ月で1億ユーザーを突破する史上最速の普及を達成した。その後GPT-4対応版もリリースされ、より高精度な対話が可能になった。
3.2.2 カスタマーサポートと仮想アシスタント
多くの企業がGPTシリーズをベースにしたカスタマーサポートチャットボットを導入している。24時間対応、即時応答、多言語対応などの利点があり、問い合わせ内容の分類やFAQの自動回答などに活用される。また、個人向け仮想アシスタントとして、スケジュール管理や情報検索の補助にも利用されている。
3.3 コード生成とプログラミング支援
3.3.1 GitHub Copilot（Codex）
OpenAIのCodexモデルをベースにしたGitHub Copilotは、IDE上でコードの自動補完や生成を行うサービスである。開発者がコメントや関数名を入力するだけで、適切なコードを提案する。2022年6月に一般公開され、多くのプログラマーに利用されている。
3.3.2 デバッグとコード解説
GPTシリーズは、既存のコードのバグを特定し修正案を提示するデバッグ支援や、複雑なコードの動作を自然言語で説明するコード解説機能も提供する。学習中のプログラマーや、他者のコードを理解する必要がある開発者の生産性向上に貢献している。
3.4 その他の応用
3.4.1 翻訳・言語間変換
GPTシリーズは、教師なし学習により多くの言語対で翻訳能力を獲得している。特に英語と他の言語間の翻訳において、専用の翻訳モデルに匹敵する品質を示すケースがある。また、専門用語を含むドメイン特化の翻訳にも対応できる。
3.4.2 教育・チュータリング
個別指導型のチュータリングシステムとして、GPTモデルは学生の質問に応じて解説を行ったり、適応的な問題を生成したりする用途で利用されている。数学の問題解決や語学学習の補助ツールとして特に注目されている。
3.4.3 研究支援（データ分析・文献調査）
研究者向けには、データ分析の手法提案や、コードの自動生成、学術文献の要約、関連研究の調査などにGPTモデルが活用されている。ただし、専門性の高い領域では誤った情報を生成する可能性があるため、結果の検証が重要である。
4 影響と課題
4.1 社会的影響
4.1.1 労働市場への影響（自動化・創造性）
GPTシリーズの普及により、ライター、翻訳者、カスタマーサポート担当者など、特定の知識労働が自動化の影響を受ける可能性が指摘されている。一方で、人間の創造性を拡張するツールとして、新たな職種や業務スタイルの創出も期待される。AIと人間の役割分担の再定義が進んでいる。
4.1.2 情報アクセスと民主化
高度な言語処理能力を持つAIが一般に利用可能になったことで、情報へのアクセスが大幅に容易になった。専門知識がなくとも、複雑な文書の要約や質問への回答を得られるようになった。しかし、AIに依存しすぎることで、批判的思考や情報リテラシーの低下を懸念する声もある。
4.2 倫理的懸念
4.2.1 誤情報・幻覚（Hallucination）
GPTモデルは、事実に基づかない情報をあたかも真実であるかのように生成する「幻覚」現象を起こすことがある。具体的な名称や数字、年代などを誤って出力するケースが多く、特に事実確認が必要な領域での利用には注意が必要である。
4.2.2 バイアスと公平性
学習データに含まれる社会的バイアス（人種、性別、年齢などに関する偏見）をモデルが学習し、増幅する可能性が指摘されている。OpenAIはRLHFなどの手法でバイアス低減に努めているが、完全な除去は困難であり、継続的な改善が求められている。
4.3 安全性と規制
4.3.1 悪用のリスク（スパム・偽造コンテンツ）
GPTモデルは、フィッシングメールやソーシャルエンジニアリング攻撃に利用される文章の作成、偽のニュース記事やフェイクレビューの大量生成など、悪用されるリスクがある。また、学生がレポート作成に不当に利用するなどの学術的不正も問題となっている。
4.3.2 規制とガイドラインの動き
各国政府や国際機関は、AIの安全性と倫理に関する規制の整備を進めている。EUのAI法案では、GPTのような汎用AIを「基礎モデル」として規制対象とする方針が示された。ただし、技術の進歩の速さに対して規制の整備が追いつかないという課題もある。
5 関連製品と派生モデル
5.1 ChatGPT（対話特化版）
ChatGPTは、GPT-3.5およびGPT-4をベースにした対話型AIサービスである。無料版と有料版（ChatGPT Plus）があり、有料版では優先アクセスや高度な機能が提供される。ブラウザ上での利用に加え、モバイルアプリも公開されている。
5.2 OpenAI API（商用利用）
OpenAIは、GPTシリーズのモデルをAPIとして提供している。開発者は自社のアプリケーションやサービスにGPTの機能を組み込むことができる。使用量に応じた課金制で、2023年時点ではGPT-3.5（gpt-3.5-turbo）とGPT-4（gpt-4）の2系統が提供されている。
5.3 オープンソース派生モデル（LLaMA, Falcon 等）
Metaが公開したLLaMA、Technology Innovation Instituteが公開したFalcon、Mistral AIのMistralなど、GPTに触発されたオープンソースの大規模言語モデルが多数登場している。これらのモデルは、研究目的やカスタマイズ用途で広く利用されている。
5.4 競合モデルとの比較（Gemini, Claude, LLaMA 等）
GoogleのGemini（旧Bard）、AnthropicのClaude、MetaのLLaMAなど、GPTシリーズに対抗するモデルが各社から発表されている。性能面ではGPT-4が依然としてトップクラスだが、コスト効率や特化したタスクでは競合モデルが優位な場合もある。モデル間の競争は技術進歩を加速させている。
6 将来の展望
6.1 次世代モデルの方向性
6.1.1 推論能力の向上（思考連鎖）
GPT-4では思考連鎖（Chain-of-Thought）プロンプティングにより、複数ステップの推論が改善された。将来のモデルでは、より複雑な論理的推論や数学的証明、計画立案能力の向上が期待される。外部ツール（計算機や検索エンジン）との連携も進むとみられる。
6.1.2 マルチモーダル拡張（画像・音声・動画）
GPT-4が画像入力に対応したのを皮切りに、将来的には音声入力、動画入力、さらには画像・動画出力への拡張が予想される。これにより、ユーザーとのよりリッチなインタラクションが可能になると考えられる。
6.2 汎用人工知能への道筋
6.2.1 自己改善と継続学習
現在のGPTモデルは固定された学習データに基づいており、新しい情報の学習には再学習が必要である。将来モデルでは、ユーザーとの対話を通じて継続的に学習し改善する能力の獲得が目指されている。ただし、学習データの汚染や悪影響のリスクへの対策も必要である。
6.2.2 人間-AI協調の理想像
GPTシリーズの究極の目標は、人間の能力を拡張し、より高度な創造性と問題解決を実現することである。単なる自動化ではなく、人間とAIが協調して新しい価値を生み出すモデルが理想とされている。教育、医療、科学研究など、様々な分野での貢献が期待される。