-1- デジタル回路において、ノイズによってLとHの値(電圧)が上下することは、エントロピーが増大することでしょうか。

-2- レーザービームを発射したときに(あるいは懐中電灯で照らしたときに)、光のビームが先に行けばいくほど拡散していく現象は、エントロピーの増大でしょうか。

回答の条件
  • URL必須
  • 1人2回まで
  • 登録:
  • 終了:2010/07/05 11:10:03
※ 有料アンケート・ポイント付き質問機能は2023年2月28日に終了しました。

回答2件)

id:taka-hr No.1

回答回数57ベストアンサー獲得回数4

ポイント35pt

「LとHの値」という表現が若干気にはなりますがどちらもエントロピーの増大ですね。

ノイズによって電圧が上下して、それによってデジタル入力回路で LとHが変動する、というのがなんとなくですが正しい表現になると思います。

http://www.example.org

id:ShinRai

ありがとうございます。エントロピーという概念の使い方がわからなかったもので、おかげでイメージがつかめました。

>ノイズによって電圧が上下して、それによってデジタル入力回路で LとHが変動する

この表現も助かります。

このエントロピー増大を、うまく吸収する(誤りなく入力する)ようにデジタル通信回路を設計することが、とても重要なのでしょうね。

情報理論における「エントロピー」概念は、このような文脈で理解すると、意味が生まれないでしょうか。

つまり、回線上で増大するエントロピーを吸収するように送信・受信回路の相対エントロピーを設定すると、オートマトンとして自動的・自律的に作動できる。

というようにいえないでしょうか

2010/06/28 13:31:38
id:U-tan No.2

回答回数64ベストアンサー獲得回数10

ポイント35pt

平衡統計力学でのエントロピーは,等重率が成り立つ場合はエネルギー量子の配位の可能な場合の数の対数(の定数倍)になります.

情報理論でのエントロピーは,平均情報量です.エントロピーは情報源から取り出せる情報量の上限を与えます.

数式では,状態を整数 i で指定して,その実現確率 p_i につき,∑[全てiについて](-p_i Log[p_i]) です.

1.伝送路に雑音があれば,訂正のために可能な伝達速度は小さくなります.雑音によって情報源からとりだせる情報は増大することはなく,つまり変わらないか減少します.

http://en.wikipedia.org/wiki/Information_entropy

2. 古典的な電磁気学でおおよそわかります,現代的には量子電気力学で考えることになります.光子の運動はほとんど決定論的なので,統計力学のエントロピーを持ち出す必要はなくむしろ平衡状態ではないので定義することも難しいです.ただ,物理的状態の時間変化について孤立形について最小作用原理や(十分時間がたってから)自由エネルギー最小ないしエントロピー最大原理がなりたつので,非平衡状態についてもエントロピーを定義しようとすることは有益かもしれません.

http://en.wikipedia.org/wiki/Non-equilibrium_thermodynamics

  • id:taka-hr
    > 情報理論における「エントロピー」概念は、
    > このような文脈で理解すると、意味が生まれないでしょうか。
    > つまり、回線上で増大するエントロピーを吸収するように
    > 送信・受信回路の相対エントロピーを設定すると、オートマトンとして自動的・自律的に
    > 作動できる。
    > というようにいえないでしょうか

    だいたい正しいのですが、オートマトンは必要条件じゃないのです。

    簡単な例でいえば電話回線でノイズのせいで相手の言っていることが
    聞きとれない、というのもエントロピーですし、
    「もう一回言ってー」と叫ぶのも誤り訂正手順です。
    これには普通の意味でのオートマトンは関係していません。

    # 人間もオートマトンであるという立場だとまた別の議論になりますが


    なので、オートマトンを絡めるとすると、
    デジタル通信において受信側に接続されたオートマトンを正しく
    動作させるためには、送受信回路の相対エントロピーを
    正しく設定する必要がある、くらいでしょうか。
  • id:ShinRai
    ありがとうございます。

    >オートマトンを正しく動作させるために
    >送受信回路の相対エントロピーを正しく
    >(送信側が低く)設定する必要がある
    という表現もありがとうございました。

    人間の意味のメカニズムは、オートマトンかもしれないなあと
    ぼんやり思っています。

    オートマトンだから、我々は無自覚に言語を使っているのでは
    ないでしょうか
  • id:taka-hr
    ぼんやりの理解としてはある種のオートマトンで近似できるのは間違ってはいません。

    ですが、そこをつきつめてみたら壁に当たった結果が第5世代コンピュータだったり
    人工知能だったりという過去のしかばねの山ではあります。

    簡単な例として言うと「たけはし」という単語だけでも、
    文脈によって竹の橋なのか竹の箸なのか、もしかしたら高橋を聞き間違えたのかも
    しれないとかいくつか可能性があって、それは人間は文脈の意味から
    判別できています。

    コンピュータに意味を理解させるというのが、人工知能のひとつの目標ですが
    前にもでていた記号接地問題をはじめとして、単に数値だけの世界で解決できない
    問題があることもわかっています。その先どうするのかはまだ研究段階にあって、
    みんなが諦めたわけではないけれども、次の明確な方向性がわかっているわけでもなく
    議論されている段階じゃないかと思っています。わたしはそちらの専門の学会とかに
    出ているわけではないのでもしかしたらもう少し進んでいるかもしれませんが。
  • id:taka-hr
    エントロピーについて書くと言っていながらうまくまとまっていなかったのですが

    http://q.hatena.ne.jp/1277102879

    のコメント欄に書いてみました。

この質問への反応(ブックマークコメント)

「あの人に答えてほしい」「この質問はあの人が答えられそう」というときに、回答リクエストを送ってみてましょう。

これ以上回答リクエストを送信することはできません。制限について

回答リクエストを送信したユーザーはいません