1 情報理論の基礎
情報理論は、情報を数理的に扱うための枠組みであり、内容の「量」を測るだけでなく、どのように表現し、送り、復元するかも対象にします。中心にあるのは、不確実性を減らすはたらきとしての情報と、有限の資源でそれを扱う際の制約です。この考え方は、通信の効率化や符号設計の理論的基盤を与えました。
1.1 情報の定義
情報は、受け手の知識状態を変えるものとして捉えられます。ある事柄が起こるかどうかが事前には定かでないとき、その事柄についての知らせは、予測を更新させる働きを持ちます。情報理論では、この働きを主観的な意味内容ではなく、確率的な構造に結びつけて定式化します。
1.2 不確実性と情報量
情報量は、事象がどれだけ予想しにくいかに対応します。起こる確率が低い出来事ほど、知らせとしての重みは大きくなります。逆に、ほぼ確実な事象は、受け手の不確実性をあまり減らさないため、情報量は小さくなります。
1.2.1 自己情報量
自己情報量は、ひとつの事象が持つ情報の大きさを表します。確率が小さい事象ほど値が大きくなるため、珍しい出来事は大きな自己情報量を持ちます。対数を用いて表されることが多く、加法性の性質を持つ点が重要です。
1.2.2 平均情報量
平均情報量は、複数の事象を確率分布に従って見たときの全体的な情報の尺度です。個々の自己情報量を確率で重み付けして平均したもので、典型的にはエントロピーと呼ばれます。系全体の不確実性を表す代表的な指標です。
1.3 確率論との関係
情報理論は確率論と密接に結びついています。事象の起こりやすさを数える確率分布がなければ、情報量や平均的な不確実性は定義しにくいからです。したがって、情報理論は確率変数、分布、条件付き確率といった概念を基礎に展開されます。
1.4 情報理論の成立背景
この分野は、通信技術の発展とともに形成されました。限られた帯域でできるだけ多くの情報を送り、雑音があっても内容を保つ方法を求める必要が、理論の出発点になりました。20世紀中葉に体系化が進み、以後、符号化と容量の理論として大きく発展しました。
2 情報の定量化
情報の定量化では、不確実性の大きさ、分布の差、変数間の依存関係などを数値で表します。これにより、単なる直感ではなく、比較可能な尺度として情報を扱えるようになります。代表的な概念として、エントロピー、相互情報量、ダイバージェンスがあります。
2.1 エントロピー
エントロピーは、確率分布に基づく不確実性の尺度です。分布が均一に近いほど値は大きく、偏りが強いほど小さくなります。情報理論では、信号源の平均的な予測しにくさを表す基本量として用いられます。
2.1.1 シャノンエントロピー
シャノンエントロピーは、情報理論で最も基本的なエントロピーの定義です。離散的な確率分布に対して、各事象の確率とその対数を用いて計算します。符号長の下限や、圧縮可能性の理論と深く関係します。
2.1.2 条件付きエントロピー
条件付きエントロピーは、ある変数の値が分かったあとに残る不確実性を表します。別の情報を得ることで、どれだけ予測が改善するかを測る指標ともいえます。相関の強い変数どうしでは値が小さくなり、独立に近いほど大きくなります。
2.2 相互情報量
相互情報量は、二つの変数がどれだけ情報を共有しているかを表します。片方を知ることで、もう片方についてどれだけ不確実性が減るかを数量化するものです。依存関係の強さを表現するため、通信や学習の解析で広く用いられます。
2.2.1 共通知識との関係
相互情報量は、直感的には二つの変数が共有する内容の大きさに対応します。ただし、単純な共通部分の大きさとは異なり、確率的依存を通じて定義されます。そのため、観測結果の一致だけでなく、統計的な関連を含みます。
2.2.2 独立性との関係
二つの変数が独立であれば、相互情報量はゼロになります。これは、一方を知っても他方の予測が改善しないことを意味します。逆に、値が正であれば何らかの依存が存在し、変数間に関係があると判断できます。
2.3 ダイバージェンス
ダイバージェンスは、二つの確率分布がどれほど異なるかを測る指標です。エントロピーが分布そのものの不確実性を表すのに対し、ダイバージェンスは分布同士の距離に似た役割を果たします。ただし、一般には対称性や三角不等式を満たしません。
2.3.1 クルバック・ライブラー・ダイバージェンス
クルバック・ライブラー・ダイバージェンスは、基準となる分布から別の分布へ移る際の情報損失を表します。統計推定や機械学習では、モデル分布と観測分布のずれを評価するためによく使われます。理論的には、符号化の非効率さとも結びつきます。
2.3.2 対称化指標
対称化指標は、非対称なダイバージェンスを左右対称に扱いやすくした量です。たとえば、相互に向きの異なる比較を平均した形が用いられます。実用上は、分布の差を直感的に把握する補助尺度として機能します。
2.4 その他の情報量指標
情報理論には、エントロピーや相互情報量以外にも多様な指標があります。たとえば、レート歪みや有効情報を扱う尺度、再生や予測の性能を評価する量などが挙げられます。用途に応じて、異なる情報概念を選ぶことが重要です。
3 情報圧縮
情報圧縮は、同じ内容をより短い表現で符号化する技術と理論です。冗長な部分を取り除き、必要最小限のビット列へ変換することで、保存容量や通信量を減らします。圧縮の限界は、情報源の統計的性質によって決まります。
3.1 符号化の基本
符号化とは、元のデータを別の表現へ写すことです。圧縮では、頻度の高い記号に短い符号語を割り当て、まれな記号には長めの表現を与えるのが基本的な発想です。復元可能かどうかによって、可逆と非可逆に分かれます。
3.1.1 可逆圧縮
可逆圧縮は、元のデータを完全に復元できる方法です。テキスト、実行ファイル、記録データなど、内容の一致が必要な場面で使われます。符号の設計では、冗長性を減らしつつ情報の欠落を避けることが求められます。
3.1.2 非可逆圧縮
非可逆圧縮は、復元時に一部の情報を捨てることで、より高い圧縮率を実現します。画像、音声、映像など、人間の知覚特性を利用できる媒体で広く用いられます。品質と圧縮率の折り合いをどう取るかが中心課題です。
3.2 最適符号
最適符号は、平均符号長をできるだけ短くするよう設計された符号です。情報源の確率分布を反映させることで、全体として効率のよい表現を実現します。実際の符号設計では、理論的最適性と実装容易性の両立が重視されます。
3.2.1 ハフマン符号
ハフマン符号は、可変長の接頭語符号を構成する代表的手法です。出現確率の高い記号ほど短い符号語を割り当て、平均長を小さくします。実装が比較的 सरलで、古典的な圧縮方式に広く利用されてきました。
3.2.2 算術符号
算術符号は、記号列全体を区間として表現する方式です。個々の記号ごとに符号を与えるのではなく、列全体をひとつの数値範囲に対応させます。高い圧縮効率を得やすく、長い列や偏った分布で特に有利です。
3.3 圧縮限界
圧縮には理論上の下限があり、情報源の不確実性を下回る符号化はできません。これを理解することで、どの程度まで短縮可能か、また何が理想的な到達点かを判断できます。限界の議論は、情報理論の核心のひとつです。
3.3.1 ソース符号化定理
ソース符号化定理は、無記憶情報源に対して、平均符号長の下限がエントロピーで与えられることを示します。十分長い列を扱えば、平均長をエントロピーに近づけられます。これは圧縮の理論的到達点を定める結果です。
3.3.2 情報源の冗長性
情報源の冗長性は、実際のデータに含まれる予測可能な余分さを指します。自然言語や画像のようなデータには、統計的な偏りや構造があるため、圧縮余地が生じます。冗長性が大きいほど、効果的な圧縮が可能になります。
4 通信と誤り訂正
通信理論では、雑音のある環境で情報を正確に送る方法を研究します。送信側で符号を付け、受信側でそれを解読する過程の中で、誤りの発生や訂正が重要になります。理論は、通信路の性質と符号の設計を結びつけます。
4.1 通信路モデル
通信路モデルは、入力信号がどのように変化して出力されるかを数理的に記述します。雑音や歪みを確率過程として表し、実際の伝送の不完全さを抽象化します。これにより、異なる通信方式を同じ枠組みで比較できます。
4.1.1 雑音通信路
雑音通信路は、送信信号に乱れが加わるモデルです。誤りの発生確率や信号の劣化を取り入れることで、現実的な伝送条件を表します。解析では、雑音の種類に応じて性能評価や最適化の手法が変わります。
4.1.2 離散通信路
離散通信路は、入力と出力が離散的な値をとる通信路です。符号化理論で扱いやすく、理論的結果を導くための基本モデルとして広く使われます。ビット列や有限記号系の伝送を考える際の標準的な枠組みです。
4.2 通信路容量
通信路容量は、誤りをほぼ任意に小さく抑えながら伝送できる最大速度を表します。単に高速で送れるかではなく、信頼性を保てる限界を示す点が特徴です。容量は通信路の本質的な性能指標として重要です。
4.2.1 シャノンの通信路符号化定理
シャノンの通信路符号化定理は、容量以下の速度なら、十分長い符号を用いて誤り確率を任意に小さくできることを述べます。これは、雑音があっても条件次第で高信頼通信が可能であることを示しました。現代通信理論の基礎結果です。
4.2.2 容量の計算方法
容量の計算は、通信路の確率遷移や入力分布を用いて行います。一般には、相互情報量を最大化する入力分布を探す問題として定式化されます。具体的な通信路ごとに解析法が異なり、数値計算が必要な場合もあります。
4.3 誤り訂正符号
誤り訂正符号は、送信時に付加情報を加えることで、受信後の誤りを検出・修正しやすくする仕組みです。冗長性を意図的に導入し、雑音の影響を吸収します。実用通信では、容量との兼ね合いが設計上の要点になります。
4.3.1 線形符号
線形符号は、符号語の集合が線形空間をなす誤り訂正符号です。計算が扱いやすく、理論的性質も整理しやすいため、多くの実用符号の土台になっています。生成行列や検査行列を用いて記述します。
4.3.2 巡回符号
巡回符号は、符号語を循環的にずらしても同じ符号空間にとどまるように構成された符号です。代数的な構造を利用できるため、符号化と復号の実装が効率的です。古典的かつ重要な符号の一群を形成します。
4.3.3 ハミング符号
ハミング符号は、単一誤りの訂正や複数誤りの検出に適した代表的な符号です。比較的少ない冗長ビットで誤り位置を特定できるため、基礎例としてよく用いられます。符号理論の理解において教育的価値も高いです。
4.4 符号の復号法
復号法は、受信したビット列から元の情報を推定する手続きです。最尤復号や距離に基づく方法などがあり、通信路の性質に合わせて選ばれます。計算量と精度の両方を考慮する必要があります。
5 応用分野
情報理論は抽象的な数学分野にとどまらず、多くの実用領域で使われています。データの保存、伝送、推定、学習の各場面で、限界の把握と設計指針を与えます。応用は計算機科学、通信工学、統計学、暗号理論に広がります。
5.1 計算機科学への応用
計算機科学では、情報理論がデータ処理の効率化に役立ちます。圧縮、検索、学習、表現学習など、情報の要約や伝達が必要な場面で基礎概念が活用されます。理論と実装の接点が多い分野です。
5.1.1 データ圧縮
データ圧縮では、情報理論が符号長の下限や最適化指針を与えます。ファイル保存や配信の効率化に直結し、通信負荷の軽減にも貢献します。可逆・非可逆の両方式が用途に応じて使い分けられます。
5.1.2 画像処理
画像処理では、画素の統計的性質を利用して容量を減らしたり、重要な特徴を保ったまま表現を簡潔にしたりします。圧縮だけでなく、復元、ノイズ低減、特徴抽出にも情報理論的考え方が応用されます。
5.1.3 機械学習
機械学習では、損失関数やモデル評価に情報量的な指標が用いられます。予測分布の比較、特徴の選択、表現の圧縮などにおいて、エントロピーや相互情報量が役立ちます。学習の安定化や汎化の理解にも関係します。
5.2 通信工学への応用
通信工学では、理論がそのまま設計思想になります。周波数資源の制約、雑音の影響、複数端末の接続などを考えながら、信頼性と効率を両立させます。無線やネットワークの最適化において重要です。
5.2.1 無線通信
無線通信では、伝搬損失や干渉、雑音に対して頑健な伝送が求められます。符号化や変調の設計は、通信路容量や誤り率の評価と結びついています。移動環境でも安定した接続を目指す際に情報理論が活躍します。
5.2.2 ネットワーク設計
ネットワーク設計では、複数の経路や端末を効率よく扱うための資源配分が問題になります。帯域の割り当て、混雑の回避、伝送効率の向上などに、情報理論的な最適化が応用されます。大規模システムの設計指針として有用です。
5.3 統計学への応用
統計学では、情報理論が推定やモデル比較のための尺度を提供します。観測データに対してどの仮説や分布が適切かを判断する際、情報量的な基準が役立ちます。データ解析の客観性を高める道具として位置づけられます。
5.3.1 推定理論
推定理論では、未知パラメータを観測から推し量る際の精度評価に情報量が関わります。情報行列やエントロピー関連の指標は、推定可能性や不確実性の把握に用いられます。推定法の比較にも応用されます。
5.3.2 モデル選択
モデル選択では、複雑さと適合度のバランスを取る必要があります。情報量基準は、過剰適合を避けながら説明力の高いモデルを選ぶための手がかりになります。候補間の比較を定量化できる点が利点です。
5.4 暗号理論との関係
暗号理論では、情報の秘匿性や推測困難性が中心課題です。情報理論は、秘密鍵の長さ、漏えいの量、通信の安全性を定量化する視点を与えます。完全秘匿や鍵共有の理解にも関係し、暗号の理論的限界を考える基盤になります。
6 発展的話題
発展的話題では、基本理論を拡張して、より複雑な状況を扱います。単一の情報源や通信路にとどまらず、損失の許容、複数端末、量子的な系、連続値の扱いへと範囲が広がります。応用の多様化に応じて理論も精緻になります。
6.1 レート歪み理論
レート歪み理論は、圧縮率と再現品質の交換関係を扱います。完全な復元を要求しない場合、どの程度までデータを短くできるかを定式化します。映像や音声のようなメディアで特に重要です。
6.2 多端子情報理論
多端子情報理論は、複数の送信者や受信者が関与する通信を研究します。中継、分散送信、複数経路の干渉など、単純な一対一通信では現れない問題を扱います。ネットワーク化した通信の解析に欠かせません。
6.3 量子情報理論
量子情報理論は、量子状態を情報の担い手として扱う分野です。古典情報理論の概念を引き継ぎつつ、重ね合わせや測定の特性を考慮します。量子通信、量子計算、量子暗号などの基礎を与えます。
6.4 連続情報源と連続通信路
連続情報源と連続通信路は、値が連続的に変化する信号を対象とします。音声波形やアナログ信号のように、離散モデルだけでは十分でない場合に必要です。微分エントロピーやガウス通信路など、連続系に適した道具が用いられます。