エントロピーとは：熱力学・統計力学・情報理論の定義と意味

物体のエントロピーは、仕事をするのに利用できないエネルギーの量を示す尺度である。また、エントロピーは、システム内の原子が取り得る配置の数を示す尺度でもある。この意味で、エントロピーは不確定性やランダム性の尺度でもあります。エントロピーが大きければ大きいほど、物体を構成する原子の状態が不確かになります。物理学の法則では、物体やシステムのエントロピーを小さくするには作業が必要であり、作業がなければエントロピーは決して小さくならない。

エントロピーという言葉は、1850年から1900年にかけて行われた熱とエネルギーの研究から生まれました。これらの研究により、可逆・不可逆過程の区別や熱機関の効率を定量化する必要が生じ、エントロピーの概念が導入されました。エントロピーの研究から、確率計算に関する非常に有用な数学的アイデアが生まれました。これらのアイデアは現在、情報理論や化学、統計的推定など多くの分野で活用されています。

エントロピーとは、熱力学の第二法則で説明される「エネルギーが均等になるまで拡散すること」を定量的に表したものです。ただし「エントロピー」の意味は文脈（分野）によって若干異なります。以下に、熱力学・統計力学・情報理論それぞれでの定義と直感的な意味を分かりやすく説明します。

熱力学におけるエントロピー

熱力学ではエントロピー S は状態量であり、可逆な熱のやり取りに対して次の関係で定義されます：

dS = δQ_rev / T（可逆過程の場合）

ここで δQ_rev は可逆に与えられた熱、T は絶対温度です。熱力学第二法則は「孤立系のエントロピーは決して減少しない（不可逆過程では増大する）」と述べます。これにより、熱は高温から低温へ自然に流れ、熱機関の効率には上限があることが説明されます。

熱力学的にエントロピーが意味するところは「利用可能なエネルギーの減少」です。自由エネルギー（例：ヘルムホルツ自由エネルギー F = U − TS、ギブス自由エネルギー G = H − TS）との関係により、ある過程が自発的かどうか（ΔG < 0 など）がエントロピー変化と結びつきます。

測定面では、エントロピー変化は熱容量の積分やカロリメトリで求められ、単位は J·K−1（ジュール毎ケルビン）です。第三法則により、完全結晶の絶対零度でのエントロピーは（理想的には）ゼロとされます。

統計力学におけるエントロピー

統計力学では、ミクロ状態の数（あるいは確率分布）からエントロピーを定量化します。代表的な式はボルツマンの公式：

S = k_B ln W

ここで k_B はボルツマン定数、W（または Ω）は与えられたマクロ状態に対応するミクロ状態の総数です。ミクロ状態が多ければ多いほど、W が大きくなり、エントロピーは増えます。

より一般的な確率分布 p_i を用いると、ギブズのエントロピーは

S = −k_B Σ_i p_i ln p_i

として表せます。これは、どのミクロ状態にいるかの不確かさ（情報の欠如）を測る量です。統計的視点からは、系がより「ありふれた（高確率）」マクロ状態に移る確率が高いため、孤立系のエントロピーは時間とともに増えることが期待されます。

情報理論におけるエントロピー

情報理論でのエントロピー（シャノンエントロピー）は確率分布 p_i の不確実さの尺度として定義されます：

H = −Σ_i p_i log_2 p_i（単位：ビット）

この式は熱力学のギブズ・エントロピーと同じ数学的形をしており、両者は定数（ログの底や k_B）を除けば対応します。情報エントロピーは「情報源が平均してどれだけの情報（驚き）を出力するか」を示し、データ圧縮や通信の限界（シャノン限界）を与えます。

熱力学エントロピーと情報エントロピーの対応により、例えば系の状態に関する知識が増えればその系の熱力学的エントロピーの扱い方に影響を与えることが分かります（情報と物理の関係を扱うランドアーの原理など）。

直感的な説明と日常の例

• 熱が高温から低温へ流れるとき、エントロピーは増える（温度差が解消される）。
• クリームをコーヒーに注ぐと瞬時に均一に混ざり、一度混ざると元に戻すのは非常に難しい。混ざった状態の方が取り得る微視的配置が多いためエントロピーが大きい。
• 気体の自由膨張（隔壁を取り除いて広がる）は不可逆で、エントロピーが増す典型例。
• 冷蔵庫や生物は局所的にエントロピーを下げるが、そのために外部へ仕事や熱を放出し、系全体ではエントロピーの増大を伴う。

重要な性質と誤解

• エントロピー＝混沌・無秩序という単純化は便利だが誤解を招く。重要なのは「取り得る微視的状態の数・確率」であり、秩序の定義に依存する。
• 孤立系のエントロピーは時間とともに増加するが、微視的な力学方程式は可逆である。増加の説明には「初期条件が低エントロピーであること」や「粗視化（coarse-graining）」が関係する。
• エントロピーは可加性（独立な系なら加算される）や濃密性（extensive）などの数学的性質を持つ。

エントロピーの測定と単位

熱力学的エントロピーの単位は J·K−1。情報エントロピーは通常ビット（log2）やナット（自然対数）で表されます。実験的には、可逆近似のプロセスで熱の出入りを測り、dS = δQ_rev/T を積分して求めます。絶対エントロピーは第三法則によって基準化できます。

まとめ

エントロピーは熱力学、統計力学、情報理論でそれぞれ密接に関連したがやや異なる役割を持つ中心的概念です。要点は次の通りです：

• 熱力学：利用できないエネルギーや不可逆性を定量化する状態量。
• 統計力学：ミクロ状態の数や確率分布に基づく不確かさの尺度（S = k_B ln W 等）。
• 情報理論：確率分布が持つ平均的な情報量（H = −Σ p log p）。

日常や工学では、エントロピーの概念は熱の流れ、化学反応の自発性、情報の圧縮・伝送など幅広い問題を理解し解決する上で不可欠です。

質問と回答

Q:物体のエントロピーとは何ですか?

Q: エントロピーと不確定性・ランダム性の関係はどうなっていますか?

Q: 物体やシステムのエントロピーは、仕事をせずに小さくすることができるのでしょうか?

Q: エントロピーの語源は?

Q: エントロピーは何を定量的に測定するのですか?

Q: エントロピーの意味は、分野によってどのように違うのですか?

Q: 確率計算におけるエントロピーの役割とは?

文字で検索