-2- レーザービームを発射したときに(あるいは懐中電灯で照らしたときに)、光のビームが先に行けばいくほど拡散していく現象は、エントロピーの増大でしょうか。
「LとHの値」という表現が若干気にはなりますがどちらもエントロピーの増大ですね。
ノイズによって電圧が上下して、それによってデジタル入力回路で LとHが変動する、というのがなんとなくですが正しい表現になると思います。
平衡統計力学でのエントロピーは,等重率が成り立つ場合はエネルギー量子の配位の可能な場合の数の対数(の定数倍)になります.
情報理論でのエントロピーは,平均情報量です.エントロピーは情報源から取り出せる情報量の上限を与えます.
数式では,状態を整数 i で指定して,その実現確率 p_i につき,∑[全てiについて](-p_i Log[p_i]) です.
1.伝送路に雑音があれば,訂正のために可能な伝達速度は小さくなります.雑音によって情報源からとりだせる情報は増大することはなく,つまり変わらないか減少します.
http://en.wikipedia.org/wiki/Information_entropy
2. 古典的な電磁気学でおおよそわかります,現代的には量子電気力学で考えることになります.光子の運動はほとんど決定論的なので,統計力学のエントロピーを持ち出す必要はなくむしろ平衡状態ではないので定義することも難しいです.ただ,物理的状態の時間変化について孤立形について最小作用原理や(十分時間がたってから)自由エネルギー最小ないしエントロピー最大原理がなりたつので,非平衡状態についてもエントロピーを定義しようとすることは有益かもしれません.
ありがとうございます。エントロピーという概念の使い方がわからなかったもので、おかげでイメージがつかめました。
>ノイズによって電圧が上下して、それによってデジタル入力回路で LとHが変動する
この表現も助かります。
このエントロピー増大を、うまく吸収する(誤りなく入力する)ようにデジタル通信回路を設計することが、とても重要なのでしょうね。
情報理論における「エントロピー」概念は、このような文脈で理解すると、意味が生まれないでしょうか。
つまり、回線上で増大するエントロピーを吸収するように送信・受信回路の相対エントロピーを設定すると、オートマトンとして自動的・自律的に作動できる。
というようにいえないでしょうか