LLaMA

1 モデルの概要

1.1 開発の経緯

Meta社は、大規模言語モデル（LLM）の研究を加速するため、2023年2月にLLaMA（Large Language Model Meta AI）を公開した。従来の商用LLMが巨大なパラメータ数と膨大な計算資源を必要としたのに対し、LLaMAは比較的小規模なモデルでも高い性能を達成することを目標に設計された。開発はMetaのAI研究チーム（FAIR）が主導し、公開研究と内部最適化を組み合わせて進められた。

1.2 公開方針とライセンス

初版LLaMAは研究目的に限定した非商用ライセンスで公開された。研究者は申請によりモデルの重みにアクセス可能で、これにより学術コミュニティでの検証と応用研究が促進された。LLaMA 2では商用利用が可能なライセンスに変更され、より幅広いユーザーが利用できるようになった。ただし、一定の月間アクティブユーザー数を超える大規模サービスには追加の許諾が必要とされた。

1.3 モデルサイズ一覧

LLaMAファミリーは複数のサイズで提供される。初版では70億（7B）、130億（13B）、330億（33B）、650億（65B）パラメータの4種類。LLaMA 2では7B、13B、70Bの3種類に再編され、LLaMA 3では8B、70B、405Bとさらに大規模なモデルが追加された。各サイズは異なる計算資源と応用要件に対応する。

2 技術的特徴

2.1 アーキテクチャ

2.1.1 Transformerベースの設計

LLaMAは標準的なTransformerアーキテクチャを採用する。エンコーダ・デコーダ構造ではなく、デコーダのみの自己回帰モデルである。層数、隠れ次元、アテンションヘッド数はモデルサイズに応じて調整される。活性化関数にはSwiGLUが使用され、RMSNormによる正規化、RoPE（回転位置エンコーディング）による位置情報の付与が行われる。

2.1.2 アテンションメカニズムの最適化

計算効率を高めるため、Grouped Query Attention（GQA）がLLaMA 2以降で導入された。これはマルチクエリアテンションとマルチヘッドアテンションの中間的な方式で、推論時のメモリ使用量とレイテンシを削減する。また、FlashAttentionなどの効率的な実装を前提とした設計がなされている。

2.2 学習データ

2.2.1 データソースと前処理

LLaMAの学習には公開テキストコーパスのみが使用される。具体的には、CommonCrawl、Wikipedia、書籍コーパス（Project Gutenbergなど）、学術論文（ArXiv）、コードリポジトリ（GitHub）などが含まれる。データは重複除去、品質フィルタリング、トークナイゼーション（SentencePieceベースのBPE）を経て学習に供される。

2.2.2 データ量と品質管理

初版LLaMAは約1.4兆トークンで学習された。LLaMA 2では2兆トークン、LLaMA 3では15兆トークン以上に増加した。データ品質は、ヘイトスピーチや個人情報のフィルタリング、低品質ページの除去、言語バランスの調整によって管理される。特にLLaMA 3では、コードと多言語データの比率が意識的に高められた。

2.3 学習手法

2.3.1 自己教師あり学習

LLaMAは純粋な自己教師あり学習、具体的には因果言語モデリング（次のトークン予測）によって学習される。大規模なバッチサイズと学習率スケジューリング（コサイン減衰）が用いられ、数万GPU時間に及ぶ分散学習が行われる。勾配クリッピング、重み減衰、ドロップアウトなどの正則化も適用される。

2.3.2 ファインチューニングとRLHF

LLaMA 2以降では、指示追従性能と安全性を向上させるため、教師ありファインチューニング（SFT）と人間のフィードバックからの強化学習（RLHF）が実施された。RLHFでは、報酬モデルを学習し、近位政策最適化（PPO）を用いてポリシー（言語モデル）を最適化する。このプロセスにより、有害出力の低減と対話品質の向上が図られている。

3 バージョン履歴

3.1 LLaMA 1

2023年2月発表。7B、13B、33B、65Bの4サイズ。非商用ライセンスで公開。学習データは1.4兆トークン。パフォーマンス面では、13BモデルがGPT-3（175B）に匹敵すると報告された。公開後、研究コミュニティで急速に普及し、多くの派生モデルが登場した。

3.2 LLaMA 2

2023年7月発表。7B、13B、70Bの3サイズ。商用利用可能なライセンスに変更。学習データは2兆トークン。コンテキスト長が4096トークンに拡張。SFTとRLHFによるファインチューニングが施され、対話モデル（LLaMA 2-Chat）も同時公開された。

3.2.1 商用利用の拡大

LLaMA 2の商用ライセンスにより、スタートアップから大企業まで幅広い組織がモデルを製品に組み込めるようになった。AWS、Google Cloud、Microsoft Azureなどのクラウドプラットフォームでもホスティングが開始され、エコシステムが拡大した。

3.2.2 安全性と責任あるAI

MetaはLLaMA 2のリリースに伴い、安全性評価とレッドチーミングの結果を公開した。有害な出力、偏見、誤情報に関するテストが行われ、モデルの限界が明示された。また、安全ガイドラインと利用規約が整備され、責任あるAI利用が推奨された。

3.3 LLaMA 3

2024年4月発表。8B、70Bの2サイズで公開後、2024年7月に405Bモデルが追加された。学習データは15兆トークン以上。コンテキスト長は8192トークンに拡張。グループドクエリアテンション（GQA）が全サイズで採用された。性能はLLaMA 2を大幅に上回り、GPT-4やClaude 3と競合する水準に達した。

3.4 派生モデル

LLaMAのオープン性から、多数の派生モデルがコミュニティで開発された。代表的なものに、Alpaca（スタンフォード大学）、Vicuna（LMSYS）、Llama 2-Chinese（中国語特化）、Code Llama（コード生成特化）などがある。これらのモデルは、LoRAやQLoRAによるパラメータ効率的ファインチューニングで作成され、特定ドメインや言語での性能向上を実現した。

4 性能評価

4.1 ベンチマークスコア

LLaMAシリーズは標準的なNLPベンチマークで評価されている。MMLU（多分野知識）、HellaSwag（常識推論）、Big-Bench Hard（推論）、GSM8k（数学推論）などが代表的。LLaMA 3 70BはMMLUで82.0%を記録し、GPT-4（86.4%）に迫るスコアを示した。コード生成ではHumanEvalで81.7%のpass@1を達成している。

4.2 他モデル（GPT-3、PaLMなど）との比較

LLaMA 1はパラメータ数あたりの効率で優れ、13BモデルがGPT-3（175B）と同等の性能を示した。LLaMA 2はPaLM 2（540B）に一部タスクで匹敵。LLaMA 3はGemini 1.5 ProやClaude 3 Sonnetと競合し、特にオープンモデルとして最高水準の性能を達成している。一方で、GPT-4 TurboやClaude 3 Opusには一部タスクで劣る。

4.3 実応用例

LLaMAはチャットボット、コード補完、文書要約、翻訳、教育ツールなど多岐にわたる用途で利用される。特に研究環境では、モデルの内部動作解析やプロンプトエンジニアリングの実験台として広く採用されている。商用サービスではNotion AI、Grammarly、GitHub Copilotの競合製品などにも組み込まれている。

5 利用方法

5.1 公式リリースとダウンロード

モデルの重みはMetaの公式サイトまたはHugging Face Hubからダウンロード可能。利用には利用規約への同意と、LLaMA 2以降では商用ライセンスの確認が必要。LLaMA 1の重みは研究申請ベースで配布されたが、LLaMA 2以降は事前承認なしでダウンロードできる。

5.2 ローカル実行環境

LLaMAはPyTorchフレームワーク上で動作する。推論にはGPU（VRAM 8GB以上推奨）が必要で、70Bモデルでは複数GPUまたは量子化が推奨される。オープンソースの推論エンジンとしてllama.cpp（CPU/GPU両対応）、vLLM（高速推論）、Transformersライブラリが利用可能。量子化（4bit、8bit）により、小型GPUでも大規模モデルを実行できる。

5.3 API経由の利用

Meta自身はLLaMAのAPIサービスを提供していないが、クラウドプロバイダー（AWS Bedrock、Google Cloud Vertex AI、Azure AI Studio）やサードパーティ（Replicate、Together AI、Fireworks AI）がホスティングAPIを提供している。料金は従量課金制で、モデルサイズと処理トークン数に応じて決まる。

6 社会的影響と議論

6.1 オープンアクセスの利点と課題

LLaMAのオープン性は研究の民主化に貢献し、LLMの透明性や再現性を高めた。誰でもモデルをダウンロードして検証できるため、バイアス分析や安全性研究が促進された。一方で、オープンアクセスは悪用のリスクも内包し、チャットボットの有害な使い方や偽情報生成に利用される可能性が指摘されている。

6.2 悪用リスクと倫理

LLaMAの軽量さは、悪意あるユーザーがフィルタリングなしでモデルを実行することを容易にする。Metaは安全チューニングを施しているが、専用の回避プロンプトで制限を突破できるケースが報告されている。また、著作権で保護されたデータが学習に用いられている可能性があり、法的な議論が続いている。

6.3 研究コミュニティへの貢献

LLaMAは後続のオープンLLM（Mistral、Falcon、Gemmaなど）に大きな影響を与えた。アーキテクチャや学習手法が多くの研究で参照され、コミュニティ駆動の改良（RLHFの効率化、量子化手法の進展など）が加速した。また、LLaMAの公開により、LLM研究が少数の巨大企業に独占されることへのカウンターウェイトとして機能している。

7 関連項目

• 大規模言語モデル
• Transformer (機械学習)
• Meta AI
• オープンソースソフトウェア
• 自然言語処理
• 人工知能の倫理