相互情報量：定義、性質、用途

形式的な意味と式

離散変数XとYについて、相互情報量はしばしば I(X;Y) = Σx,y p(x,y) log[p(x,y)/(p(x)p(y))] と表される。これは H(X) - H(X|Y) に等しく、H(Y) - H(Y|X) にも等しい。ここでHはエントロピー、H(・|・)は条件付きエントロピーを表す。この尺度は対称的であり、I(X;Y)=I(Y;X) が成り立ち、常に非負である。また、同時分布と周辺分布の積との間のカルバック・ライブラー情報量として表すこともできる。

主な性質

• 非負性：I(X;Y) >= 0であり、等号が成り立つのはXとYが統計的に独立である場合に限る。
• 対称性：I(X;Y) = I(Y;X) である。
• エントロピーとの関係：I(X;Y)は、一方を観測した後の他方のエントロピーの減少を測る。
• 単位：一般にビット（対数の底が2）またはナット（自然対数）で測定される。

歴史と発展

相互情報量は、クロード・シャノンによる情報理論の発展の一環として、20世紀半ばに導入された。その後、連続変数、多変量の相互作用（多変量相互情報量）、およびI(X;Y|Z)のような条件付き形式へと一般化された。条件付き相互情報量は、Zを考慮したうえでXとYが共有する情報を定量化する。

用途と例

相互情報量は、相関係数では見落とされることのある非線形の関係を含め、統計的な依存関係を検出・定量化するために広く用いられる。実用的な応用には、機械学習における特徴選択、神経科学における神経コーディングの測定、通信における通信路容量の評価、ゲノミクスにおける依存関係の分析が含まれる。気温と月を例にすると、月を観測することは気温の値に関する確率的な手掛かりを与える。この確率的な利得をI(X;Y)は測定する。応用上の例も参照。

関連概念と区別

ピアソン相関とは異なり、相互情報量は線形的な関連だけでなく、あらゆる種類の依存関係を検出できる。また、単一の変数の不確実性を定量化するエントロピーや、条件付け変数を考慮する条件付き相互情報量とも異なる。標本から相互情報量を推定する際には注意が必要である。ヒストグラム法、カーネル推定量、k近傍法による推定量が代表的であり、それぞれバイアスと分散の間にトレードオフがある。

相互情報量は、理論的な洞察と実用的な手法を分野横断的に結び付ける、汎用性と解釈可能性を備えた共有情報の尺度であり続けている。