1 基本概念
1.1 定義と役割
バリュー（Value, V）は、注意機構（Attention Mechanism）において、入力シーケンスの各要素から生成されるベクトルの一種である。注意機構はQuery（Q）、Key（K）、Value（V）の3つのベクトル群から構成され、Valueは「取り出される情報の内容」を保持する役割を担う。具体的には、QueryとKeyの類似度に基づいて計算された重みをValueに適用することで、入力中の重要情報に焦点を当てた出力を生成する。Valueベクトルは実質的に、注目すべき情報そのものを表現する。
1.2 Query、Key、Valueの関係
注意機構において、Query、Key、Valueは相互に関連し合う。Queryは「何を探すか」、Keyは「何を持っているか」、Valueは「その内容は何か」に対応する。これらの3要素は、入力を線形変換することによって同一ソースまたは異なるソースから生成される。
1.2.1 類似度計算
類似度計算は、QueryとKeyの間で行われる。一般的な方法として、内積（Dot Product）やスケールドットプロダクト（Scaled Dot-Product）が用いられる。QueryベクトルとKeyベクトルの内積を計算し、その結果をソフトマックス関数で正規化することで、注目度を表す重み（Attention Weight）を算出する。
1.2.2 重み付けと集約
重み付けと集約では、類似度計算で得られた重みをValueベクトルに乗じ、全てのValueを重み付き和として集約する。これにより、注意機構は入力中で重要な情報を強調し、不要な情報を抑制した出力を得る。
1.3 Valueベクトルの数学的表現
Valueベクトルの数学的表現は、通常、入力ベクトル\(x_i\)に対して学習可能な重み行列\(W_V\)を掛けることで得られる。すなわち、\(v_i = W_V x_i\)である。注意機構の出力は、\( \text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right) V \)として表現される。ここで、\(d_k\)はKeyベクトルの次元数であり、スケーリング係数として機能する。
2 注意機構における位置付け
2.1 スケールドットプロダクト注意
スケールドットプロダクト注意（Scaled Dot-Product Attention）は、Transformerで採用される基本的な注意機構である。QueryとKeyの内積を\(\sqrt{d_k}\)でスケーリングし、ソフトマックス関数を通して重みを求め、その重みをValueに適用する。この方式は、計算効率が高く、並列処理に適している。
2.2 マルチヘッド注意
マルチヘッド注意（Multi-Head Attention）は、複数の独立した注意機構（ヘッド）を並列に実行し、その結果を結合する手法である。各ヘッドは異なる部分空間で情報を捉えることで、モデルの表現力を向上させる。
2.2.1 ヘッドごとのValue分割
マルチヘッド注意では、各ヘッドに対してValueベクトルが分割される。具体的には、入力ベクトルをヘッド数\(h\)個に分割し、各ヘッドが個別のValueを持ち、異なるQ、K、Vの線形変換を学習する。
2.2.2 出力の結合
各ヘッドの出力は連結（Concat）され、さらに線形変換を経て最終出力となる。これにより、モデルは複数の注目パターンを同時に学習できる。
2.3 自己注意と相互注意
注意機構は、Query、Key、Valueの供給元によって自己注意（Self-Attention）と相互注意（Cross-Attention）に分類される。
2.3.1 自己注意におけるValue
自己注意では、全てのQ、K、Vが同一の入力シーケンスから生成される。Valueは同じシーケンス内の要素内容を表し、各要素が他の要素との関係を考慮して自身の表現を更新する。
2.3.2 相互注意におけるValue
相互注意では、Queryが一方のシーケンス（例：デコーダ）から、KeyとValueが別のシーケンス（例：エンコーダ）から供給される。Valueは情報源となるシーケンスの内容を保持し、Query側がその情報から必要な部分を抽出する。
3 学習と最適化
3.1 Valueの初期化
Valueベクトルを生成する重み行列\(W_V\)は、学習開始時に適切な初期化手法（例：Xavier初期化、He初期化）によって初期化される。これにより、勾配の消失や爆発を防ぎ、安定した学習を促進する。
3.2 勾配伝播と更新
学習時、損失関数から各パラメータへの勾配が逆伝播される。Valueに関わる重みも、他のパラメータと同様に確率的勾配降下法（SGD）やAdamなどの最適化アルゴリズムを用いて更新される。注意機構の微分可能な性質により、Valueは適切な重みを獲得する。
3.3 正則化手法
過学習を防ぐため、Valueに関連する正則化手法が適用される。
3.3.1 ドロップアウト
注意機構の出力やValueの線形変換にドロップアウト（Dropout）を適用することで、ランダムにニューロンを無効化し、モデルの汎化性能を向上させる。
3.3.2 レイヤー正規化
各サブレイヤー（注意機構を含む）の後にレイヤー正規化（Layer Normalization）を適用することで、Valueの分布を安定化し、学習を加速する。
4 応用と実装
4.1 自然言語処理
Valueは自然言語処理（NLP）タスクの中核として広く利用されている。
4.1.1 機械翻訳
機械翻訳では、エンコーダが入力文をValueとして保持し、デコーダがQueryを生成してKeyとの類似度を計算し、適切なValueを取り出すことで、高品質な翻訳文を生成する。
4.1.2 文書要約
文書要約では、自己注意機構が文書全体のValueを考慮し、重要な文や単語を抽出・生成する。Valueは原文の情報内容を保持し、要約に必要な情報を提供する。
4.2 画像認識
画像認識タスクでもValueは有効に活用されている。
4.2.1 Vision Transformer
Vision Transformer（ViT）では、画像パッチをシーケンスとして扱い、各パッチからValueを生成する。自己注意により、パッチ間の関係を学習し、画像分類や物体検出を実現する。
4.2.2 画像キャプショニング
画像キャプショニングでは、画像特徴をValueとしてエンコードし、テキスト生成デコーダが相互注意を通じて該当する画像領域から情報を抽出する。Valueは視覚情報の内容を表現する。
4.3 マルチモーダル処理
Valueは異なるモダリティ間の情報統合に重要な役割を果たす。
4.3.1 テキストと画像の融合
テキストと画像の融合では、一方のモダリティをQueryとし、他方のモダリティをKey・Valueとして相互注意を適用する。Valueは画像やテキストの特徴を保持し、クロスモーダルな対応を学習する。
4.3.2 音声とテキストの対応付け
音声認識や音声翻訳では、音声特徴をValueとして、テキスト側のQueryが音響情報を参照する。これにより、音声とテキストの間のアラインメントが可能となる。
5 限界と改良
5.1 計算コスト問題
注意機構の計算コストはシーケンス長の二乗に比例するため、長いシーケンスでは大きな負荷が生じる。
5.1.1 線形注意機構
線形注意機構（Linear Attention）は、カーネル法を用いて注意重みの計算を線形時間に削減する手法である。Valueの集約を近似することで、効率的に処理する。
5.1.2 スパース注意機構
スパース注意機構（Sparse Attention）は、全てのQuery-Keyペアを計算せず、選択的な位置のみに注目することで計算量を削減する。Valueは注目された位置の情報のみを集約する。
5.2 長距離依存の課題
Valueは長距離の依存関係を捉えることが難しい場合がある。
5.2.1 位置エンコーディングとの関係
位置エンコーディング（Positional Encoding）は、Valueに位置情報を付加することで、シーケンス内の順序をモデルに伝える。改良型の位置エンコーディングにより、長距離依存の学習が改善される。
5.2.2 改良型Value表現
改良型Value表現として、相対位置エンコーディングや、Valueにコンテキスト情報を動的に組み込む手法が研究されている。これにより、Valueがより豊かな情報を保持できる。
6 歴史と発展
6.1 初期の注意機構（Bahdanau注意）
初期の注意機構は、Bahdanauらによって機械翻訳に導入された。この手法では、デコーダの各ステップでエンコーダの隠れ状態（Valueの一種）を重み付き和してコンテキストベクトルを生成した。この時点では、Q、K、Vの明確な区分はなく、後にTransformerで洗練された。
6.2 Transformerの登場
2017年にVaswaniらが提案したTransformerは、注意機構のみを用いたアーキテクチャである。ここで、ValueはQueryやKeyと明確に区別され、スケールドットプロダクト注意とマルチヘッド注意が導入された。TransformerはValueベクトルの設計をシンプルかつ強力にし、その後の大規模言語モデルの基盤となった。
6.3 最新の動向
6.3.1 効率化手法
近年、Valueの計算効率を向上させるための手法が多数提案されている。Flash AttentionやLinformerなどは、メモリ使用量と計算時間を削減しつつ、Valueの情報を保持する。
6.3.2 大規模モデルへの適用
GPT-4やPaLMなどの大規模言語モデルでは、Valueベクトルの次元数が数千に及び、膨大なパラメータ数を持つ。これらのモデルでは、Valueの表現力がモデルの性能を直接左右するため、初期化や正則化の工夫がさらに重要となっている。また、Mixture of Experts（MoE）やスパース活性化との組み合わせにより、Valueの効率的な利用が進められている。