概要

情報エントロピーは、ある一連の起こりうる結果に伴う予測不能性や不確実性を数値で表す指標です。これは情報理論の中心概念であり、情報や事象、確率変数がどれだけの情報を生み出すかを定量化する手段を与えます。大まかにいえば、まれで意外な出来事ほど、きわめて予測しやすい出来事より多くの情報を運びます。エントロピーはこの直感を単一の数にまとめ、最適な符号化、推定、意思決定の指針になります。

定義と主要な性質

離散確率変数 X が取りうる結果 x と確率 p(x) に対する標準的なエントロピー H の式は、H(X) = - Σ p(x) log p(x) です。対数の底が2なら単位はビットで、他の底を使えばナットやバンになります。エントロピーは、結果がすべて等確率のとき最大になり、結果が確定しているときは最小、すなわち0になります。関連する重要な量として、ある変数について別の変数を知ったあとに残る不確実性を表す条件付きエントロピー、変数間で共有される情報を表す相互情報量、そして分布を比較するためのクロスエントロピーやクルバック・ライブラー・ダイバージェンスがあります。

  • 非負性: H(X) ≥ 0。決定論的な変数では等号が成り立ちます。
  • 加法性と連鎖律: 結合エントロピーと条件付きエントロピーは体系的に結びつきます。
  • 凹性: エントロピーは確率分布の凹関数です。

簡単な例

古典的な例はコイントスです。表か裏が50-50 の確率で出る公平な硬貨では、両方の結果が同じ確率で起こるため、H = 1 ビットとなり、1 ビットの情報を伝えます。もし硬貨に偏りがあり、片面がより出やすければ、エントロピーは1ビット未満に下がります。極端に、結果がすでに確定しているならエントロピーは0です。6面の公平なサイコロでは、結果の数が増えるため、コインよりもエントロピーが高くなります。これらの例は、エントロピーが個々の結果の価値ではなく、平均的な驚きの大きさを反映することを示しています。

歴史と発展

情報エントロピーの現代的な概念は、1940年代にクロード・シャノンが通信の数学理論の一部として導入しました。シャノンは、いくつかの妥当な公理を満たし、しかも損失のない符号の平均最小長に直接結びつくことから、このエントロピーの式を選びました。その後の数十年で、この考え方は拡張され、解釈され、さまざまな分野へ応用されました。さらに、統計力学や確率論との形式的な関係も築かれました。

応用と注目すべき区別

エントロピーには多くの実用的・概念的な用途があります。データ圧縮では平均符号長の限界を与え、暗号学では鍵の予測不能性を定量化するのに役立ちます。機械学習では、クロスエントロピーのような損失関数がモデルの当てはめを導きます。研究者はまた、配列解析や多様性指標のために生物学でエントロピーに基づく手法を用い、情報と熱力学的な無秩序を結びつけるために物理学でも利用します。情報エントロピーと熱力学エントロピーを区別することは重要です。両者は数学的にも概念的にも関連していますが、異なる文脈と単位で現れます。

より詳しい技術的な扱いを求める読者は、導出、符号化定理、条件付きエントロピー、相互情報量、クロスエントロピー、ダイバージェンスなどの高度な尺度を展開する入門書や概説を参照できます。形式的な定義と導出については、情報理論と確率論の標準的な文献が参考になります。

エントロピーは、不確実性、最適な表現、推定について多くの分野で考えるための基盤的な道具であり続けています。

情報理論 ・ 情報 ・ 事象 ・ クロード・シャノン ・ 暗号学 ・ 生物学 ・ 物理学 ・ 機械学習 ・ 50-50 の確率 ・ エントロピー