1.1 テンプレートベースとルールベースの時代
初期のテキスト生成は、事前に定義されたテンプレートや文法規則に依存していた。1960年代のELIZAなどのチャットボットは、キーワードマッチングと手書きの応答パターンを用いて、限定的な対話を実現した。このアプローチは制御が容易で決定論的だったが、柔軟性に欠け、予期しない入力には対応できなかった。
1.2 統計的自然言語処理の台頭
1990年代から2000年代にかけて、大規模コーパスから学習する統計的手法が主流となった。n-gram言語モデルや隠れマルコフモデルを用いて、確率的に最も妥当な単語系列を予測する。機械翻訳や音声認識で顕著な進歩をもたらしたが、長距離の文脈依存関係を捉えることは困難だった。
1.3 ニューラルネットワークの導入
2010年代初期、リカレントニューラルネットワーク（RNN）やLSTM（Long Short-Term Memory）がテキスト生成に応用され、可変長の系列を扱えるようになった。エンコーダ・デコーダ構造と組み合わせることで、翻訳や要約の品質が飛躍的に向上したが、学習の非効率性や勾配消失問題が課題として残った。
1.4 TransformerアーキテクチャとGPTシリーズの登場
2017年にVaswaniらが提案したTransformerは、注意機構（Attention）を中心に据え、並列計算と長距離依存の捕捉を両立した。これを基盤として、OpenAIが2018年にGPT（Generative Pre-trained Transformer）を発表。大規模なコーパスで事前学習し、タスク特化の微調整を不要とするアプローチが、その後の生成モデルの標準となった。
2.1 シーケンスツーシーケンスモデルと注意機構
シーケンスツーシーケンス（Seq2Seq）は、入力系列をエンコードし、別の出力系列をデコードする枠組みである。注意機構はデコード時にエンコーダの各位置に動的に重み付けをすることで、情報の引き出し方を柔軟にし、長文や句跨ぎの対応を改善した。この技術は翻訳、要約、対話生成の基盤となった。
2.2 事前学習言語モデル
2.2.1 マスク言語モデリング（BERT系）
BERT（Bidirectional Encoder Representations from Transformers）は、入力文の一部の単語をマスクし、周囲の双方向文脈からその単語を予測するタスクで学習する。文全体の理解に優れ、分類や抽出タスクで高い性能を示すが、生成タスクには別途デコーダが必要となる。
2.2.2 自己回帰型言語モデリング（GPT系）
GPTは、左から右へ逐次的に次の単語を予測する自己回帰方式を採用する。因果的マスキングにより現在の時点より未来の情報を見ないようにして学習する。この単方向性が生成の品質と一貫性に貢献し、大規模化により「文脈内学習」などの創発能力が現れる。
2.3 プロンプトエンジニアリングとファインチューニング
ファインチューニングは、事前学習済みモデルを特定タスクのデータで追加学習させる手法であり、精度向上と制御性の獲得に効果的である。一方、プロンプトエンジニアリングは、モデルの出力を誘導するために入力文（プロンプト）の設計に注力する。近年は「Few-shot学習」や「Chain-of-Thought」など、プロンプトのみで高度な推論を引き出す手法も発展している。
3.1 日常会話とカスタマーサポート
チャットボットとして、ユーザーの質問に自然に応答したり、問題解決の手順を案内したりする。感情認識やマルチターン対話の維持により、人間に近い会話体験を提供する。企業のカスタマーサポートでは、FAQ自動応答や一次対応でコスト削減に貢献している。
3.2 クリエイティブライティングと物語生成
小説、詩、脚本、広告コピーなどの創作を補助する。特定のジャンルや文体を指定することで、キャラクターの台詞やプロットのアイデアを生成する。アマチュア作家のインスピレーション源として、また商業的なコンテンツ量産にも利用される。
3.3 データからレポートへの自動生成
構造化データ（表、グラフ、データベース）を解析し、自然言語の説明文やレポートを生成する。ビジネスインテリジェンスや財務報告、天気予報、スポーツ実況など、定型パターンを含む分野で実用化されている。
3.4 コード生成と補完
プログラミング言語のソースコードを自然言語の仕様から生成する。GitHub CopilotやChatGPTのコード生成機能は、関数の実装やバグ修正を支援する。また、コメントや関数名からのコード補完も一般的になり、開発効率を大幅に向上させている。
3.5 多言語翻訳とローカライゼーション
ニューラル機械翻訳（NMT）は、文脈を考慮した高精度な翻訳を提供する。さらに、ローカライゼーションでは、文化的なニュアンスや慣用表現を考慮した適応的翻訳が可能である。低リソース言語への展開やゼロショット翻訳も研究されている。
4.1 自動評価指標
4.1.1 BLEUスコア
BLEU（Bilingual Evaluation Understudy）は、機械翻訳の評価に広く使われる指標である。生成文と参照文の間でn-gramの一致率を計算し、適合率の幾何平均に短さペナルティをかける。高速な自動評価が可能だが、意味の正確さや流暢さを十分に反映できない欠点がある。
4.1.2 ROUGE及びPerplexity
ROUGE（Recall-Oriented Understudy for Gisting Evaluation）は要約の評価に用いられ、再現率ベースで参照文とのn-gram重なりを測る。一方、Perplexityは言語モデルがどれだけ次単語の予測に「困惑」するかを示す指標であり、低いほどモデルの確率推定が優れている。ただし、Perplexityが低くても出力の有用性や安全性とは相関しない。
4.2 人手評価の重要性
自動指標では捉えきれない、流暢さ、一貫性、事実性、創造性、有害性の有無などは、人間の評価者による主観的判定が不可欠である。通常は複数の評価者によるリッカート尺度を用いたスコアリングや、A/Bテストが行われる。コストは高いが、実用レベルでの品質保証に欠かせない。
4.3 倫理的課題
4.3.1 バイアスと有害な出力の抑制
訓練データに含まれる社会的バイアス（性別、人種、宗教など）がモデルに学習され、差別的なステレオタイプを強化する恐れがある。また、暴力的、差別的、違法な内容を生成しないようにフィルタリングやデバイアシング手法が開発されているが、完全な抑制は困難である。
4.3.2 著作権とオリジナリティの問題
モデルが既存の著作物と類似したテキストを生成した場合、著作権侵害のリスクが生じる。また、生成物のオリジナリティの定義や帰属（AIが執筆したか人間が執筆したか）について法的な議論が続いている。クリエイティブ分野では、AI支援の範囲と人間の貢献の線引きが課題である。
4.4 幻覚問題と事実確認
モデルがもっともらしいが事実に反する内容を生成する現象を「幻覚（Hallucination）」と呼ぶ。特に情報の正確性が求められる医療、法律、ニュース分野で深刻な問題となる。対策として、外部知識ベースを参照する検索拡張生成（RAG）や、事実検証のための後処理手法が研究されている。
5.1 OpenAIのGPTシリーズ
GPT-3（2020年）は1750億パラメータを持ち、In-Context Learningの能力で注目された。GPT-4（2023年）はマルチモーダル対応と制御性の向上、安全性への配慮を特徴とする。APIサービスとして提供され、ChatGPTは一般ユーザーに広く利用されている。
5.2 GoogleのGemini及びPaLM
GeminiはGoogle DeepMindが開発したモデルで、テキスト・画像・音声を統合的に処理する。PaLM（Pathways Language Model）は5400億パラメータを持ち、推論とコード生成に強みを持つ。Google Cloudを介して提供されている。
5.3 MetaのLLaMAファミリー
LLaMA（Large Language Model Meta AI）は、比較的小規模なパラメータ数（7Bから65B）で高い性能を達成し、研究コミュニティに公開された。LLaMA 2は商用利用も可能なライセンスで提供され、オープンサイエンスの発展に貢献している。
5.4 オープンソースのテキスト生成ライブラリ
Hugging FaceのTransformersライブラリは、BERT、GPT、T5、BARTなどの多様なモデルを統一的に扱える。また、vLLMやText Generation Inferenceは高速な推論を実現する。これらのツールにより、研究者や開発者は容易にテキスト生成モデルを実験・応用できる。
6.1 マルチモーダル生成との融合
テキスト生成は、画像、音声、動画など他のモダリティと統合されつつある。例えば、画像から説明文を生成したり、音声から文字起こしと翻訳を同時に行ったりする。GPT-4VやGeminiのようなモデルは、テキストと画像を相互に理解・生成する能力を持ち、よりリッチなアプリケーションを可能にする。
6.2 リアルタイム対話とエージェントシステム
即時応答が求められる対話システムでは、レイテンシの低減と一貫性の維持が課題である。また、ツールやAPIを呼び出してタスクを遂行するエージェントシステム（例：AutoGPT）が注目を集めている。将来的には、自律的に計画を立て、複数のステップを実行する高度なエージェントが実現すると期待される。
6.3 説明可能なAIと制御可能性の向上
モデルの出力の根拠を人間が理解できる形で提示する説明可能性（Explainable AI）が求められている。また、出力のスタイル、長さ、トーン、事実性を細かく制御する技術が発展している。将来的には、ユーザーの意図を誤解なく捉え、倫理的にも安全な生成を行うことが目標とされる。