エントロピーというのは、乱雑さの指標であるときいておりました。

あ、乱雑に見えるというのは、情報理論をとりあえず忘れての話です。
碁盤に黒石だけが敷き詰められているのと、白石と黒石が半分くらいごちゃごちゃに混ざって並んでいるのはどちらが乱雑ですか？

あるいは、そういう「場合の数」はどちらが多いですか？という問いでも等価です。黒だけ、というのは一種類しか場合がありません。０だけ、も同じ。白黒半分づつとか、0-255が均等というパターンは非常にたくさん場合の数があります。


こちらもどうぞ
http://d.hatena.ne.jp/keyword/%A5%A8%A5%F3%A5%C8%A5%ED%A5%D4%A1%BC

> なぜ、シャノンはそれを、エントロピーを名付けたのでしょうか

私の回答でリンクした「情報量」の「歴史」によれば；

シャノン自身は統計力学でこの概念と関連する概念がすでに使われていることを知らずにこの定義に到達したが、その名称を考えていたとき同僚フォン・ノイマン（数学）が、統計力学のエントロピーに似ていることを指摘し「統計エントロピーが何なのかを理解してる人は少ないから議論になったときに君が有利であろう」と語ったことを受けて、シャノンはエントロピーと名付けた。

だそうです。
同様のエピソードは Wikipedia 英語版の History of entropy の Information theory views
http://en.wikipedia.org/wiki/History_of_entropy#Information_theory_views
にも記述されています。

乱雑な状態は場合の数が多いので、その中から一つを特定する信号というのは情報が多い
てな感じでどうでしょうか。

たとえば１００枚のコインのうちn枚が表である場合の数の対数 -Log(100 C n) を計算。
-Log( 100! / n!(100-n)!) をスターリングの近似 Log N! ~ n Log n - n を使ってさらに変形するとシャノンのエントロピー
100*( p Log p + (1-p) Log (1-p)) ただし p=n/100
が出てきます。

サイエンティフィック・アメリカンの1971年8月号の記事が
「宇宙を復号する」に引用されていました。


　　初めシャノンは、この関数をどう呼べばいいか確信がなかった。
　「インフォメーション（情報)」というという言葉は、すでにあまりに
　多くの含意があるので混乱を招くと感じた。では、どう名づければ
　いいのか。シャノンはベル研究所の同僚の一人にこう語っている。

　　　以下サイエンティフィック・アメリカンより
　　　（略）　フォン・ノイマンはもっといい考えを思いついた。フォン・ノイマン　
　　　はこう言った。「エントロピーと呼ぶのがいい。理由は二つある。
　　　第一に、きみの不確実性関数は統計力学ではその名前で用いられて
　　　きたのだから、名前はもうある。　第二に、こちらのほうがもっと重要だ
　　　が、エントロピーとは何なのか、だれも知らないから、論争ではいつも
　　　君が有利だ」


でも、本当にフォン・ノイマンはそんな世俗的な下卑た言い方をしたのでしょうか。

いやいやいや、
「ソ連に明日核攻撃をすべきだと主張する人にいいたい。なぜ今日ではいけないのか」
こういうこと言う人ですよノイマン。他にも名言多数。
人間の真似をするのがうまい悪魔だったという冗談も。

たしかに、その台詞は聞いたことがあります

ヒトを見透かしたような（見下したような）発言してもおかしくないですね

> ヒトを見透かしたような（見下したような）発言

そうかなぁ。彼流のジョークなんだと私は思いますが。

> 情報量が多いほどエントロピーが大きくなり、
> 情報量が減ると、エントロピーが減ることになります。
> これはいったいどういうことなのでしょう。

情報量が少なければ乱雑さも減りますから、当然エントロピーも低い、で何も問題ないと思います。

> 0だけ続くデータのほうがエントロピーが大きい(乱雑さが大きい)のではないでしょうか。

規則正しく0だけなんですから、（乱雑どころか）整然としてると思います。
つまり乱雑ではありませんから、エントロピーも低いです。

なんか誤解を招くコメントがいくつかある気がします。。

エントロピーは、情報源とか通信路とかの特徴量です。


「この情報源Aは0～9までが等確率で現れる(ランダムな)数値である」という定義である場合には、情報源Aから得られた5つの数値がすべて0である場合(a1)も5つがすべて違っている場合(a2)も関係なくて、「」内の定義に対してエントロピーが定義されます。いきなり得た情報そのもののインスタンスに対して a1 と a2 のエントロピーを定義するようなことはできないはずです。


別の情報源が「情報源Bは常に0である」という定義である場合には、情報源Bから5つ数値をとりだしたら常に5つの0が得られます。こういうときに、情報源Aのエントロピーと情報源Bのエントロピーを比較すると、情報源Bのほうが予測が容易であるため乱雑さが低い、すなわちエントロピーが低いということになります。


また、実際の情報源というのは、ほとんどの情報源がランダムではなく偏りがあります。「意味のあるデータ」と表現されていますが、たとえば画像データであれば、隣り合った画素値は比較的値が近い可能性が高いでしょうし、音楽データであればフーリエ変換することによって、中音域にあたる周波数帯の変化は大きくても低音域や高音域にあたる周波数にはあまり変化がなかったりする可能性が高くなります。


ちなみにこのような性質を利用すれば、画像データだとわかっている場合にはそれ用の手法(JPEGとか)で、音声データだとわかっている場合にはそれ用の手法(MP3とか)で圧縮することでデータ量を減らすことができます。また、一般のデータであってもその内容を分析して、繰り返し出てくるデータ列とその出現確率を辞書として用いることでデータの偏りを抽出してデータ圧縮を行うことができます。


データ圧縮というのは、圧縮前のデータに冗長性が含まれる(偏りがある = エントロピーが低い)ことを検出して、できるだけエントロピーが高くなるように(結果のデータがランダムに近くなるように)加工する操作です。もちろん単にエントロピーを上げるだけならノイズを加算すればいいのですがそれだと元に戻せなくなってしまうので、もとの情報に復元可能な形でエントロピーを上げる、ということが重要ですがw


こうすると、限られた容量の通信路で無駄なくデータを送ることができます。つまり、エントロピーCを持つ通信路に対して R1 < R2 < C というエントロピーを持つデータであれば、R1 をそのまま送るより R2 を送るほうが効率的であるということです。



0だけのデータが整然としている、というのは、「0だけの情報源から得た数値が5個」あるということを示すのが直感的に容易であるからです。0だけなら5個あっても10000個あっても、個数だけを送ればいいのでlog2(個数)bitの情報量へと圧縮可能です。


ですが、たとえば 8214808651328230664709384460955058223172 という一見乱雑に見える数字列も、「円周率の小数点以下101桁目から40桁分」というふうに送れば、数値を2個、この例だと 7 + 6 = 13bit 送って、受信側で円周率を計算すればいいことになって、かなり情報量(エントロピー)を減らすこともできます。

cf. http://www.kisaragiweb.jp/pi/pi1m.htm

こういう現象がおきるのも、「円周率の一部である」という特徴(偏り)を持った情報源であることを事前に共有していれば、桁数だけわかればあとは予測可能であるからです。


このような「予測可能性」のことをエントロピーと呼んでいます。なので、単に「乱雑さ」を示す指標というのはちょっと違うというか誤解を招くこともあるんじゃないかなーと思います。

kuro-yoさん、taka-hrさん、コメントありがとうございました。

ふと思ったのですが、

(1)　エントロピーは、有効数字と考えることはできるでしょうか

もしそうなら、底を2とする対数をとると、桁数が多い（ビット数が多い）ほど、秩序がある。
エントロピーは低いということになるので、正負を逆にするべきではないか。


(2) 相対エントロピーというのは、送信側の有効数字と、受信側の有効数字の差では？

つまり、送信するときに、データ列と誤り訂正符号列を合わせて送るとき、誤り訂正符号列の桁数こそが、相対エントロピーではないか。それはミニマム１ビット（パリティーチェックビット）でもよい。

この誤り訂正符号のおかげで、伝送誤りの予測可能性（蓋然性）が一桁上がるところに意味があるのではないでしょうか。

> (1)　エントロピーは、有効数字と考えることはできるでしょうか

ある意味においては正しそうにも思うのですが、

> もしそうなら、底を2とする対数をとると、桁数が多い（ビット数が多い）ほど、秩序がある。
> エントロピーは低いということになるので、正負を逆にするべきではないか。

ここへのつながりがよくわかりません。有効数字が多い = エントロピーが高いと考えたわけではなさそうですね。

たとえば「桁数が多いほど秩序がある」というのはどういう例がありますか?


> (2) 相対エントロピーというのは、送信側の有効数字と、受信側の有効数字の差では？
>
> つまり、送信するときに、データ列と誤り訂正符号列を合わせて送るとき、誤り
> 訂正符号列の桁数こそが、相対エントロピーではないか。
> それはミニマム１ビット（パリティーチェックビット）でもよい。

> この誤り訂正符号のおかげで、伝送誤りの予測可能性（蓋然性）が一桁上がるところに
> 意味があるのではないでしょうか。

「相対エントロピー」とは

http://ja.wikipedia.org/wiki/%E7%9B%B8%E5%AF%BE%E3%82%A8%E3%83%B3%E3%83%88%E3%83%AD%E3%83%94%E3%83%BC

これのことだとするとたぶんまた全然違う話になっていると思います。

単にエントロピーの差分という意味であるならば、「一桁上がる」というのが比喩的表現であって、1ビットのパリティで10倍になるという意味ではないという前提ならだいたい正しそうです。

taka-hrさん、

エントロピーが増大するというのは、有効数字が小さくなるという意味で、
有効数字の桁数が多いということは、エントロピーが小さいということだと
ひとまず考えてみてください。

実際、伝言ゲームで、文章を伝えていくと、どんどん細部が失われたり、
変化していきます。こういうのを、エントロピー増大と考えるわけです。
（この例えがどこまで適切かわかりませんので、これもひとまず忘れて
ください）


デジタル通信とは、自己増殖オートマトン。つまり複製を作ったり、進化
が自動的に起きるシステムです。

それを支えるメカニズムが、送信側と受信側で有効数字桁数を、
　
　送信側有効数字桁数　＞　受信側有効数字桁数

というように、エントロピー増大を予定してつくっておくと、
自動的に誤りが起きないで情報が伝達する

このあたりの「誤り確率が一桁下がる」という話は、誤り訂正符号化理論の
確率計算で証明されていることです。


そして、人間の言語が、無自覚に使われていることの背景に、送信側は離散
情報、受信側はアナログシンボルであることが、オートマトンを構成してい
ることが考えられないかと思っているのです。

話が飛んでしまいましたが、週末にもう少し考えて見ます。

ご協力ありがとうございます。

参考になるかどうかわかりませんが、シャノンがノイマンのオートマタの業績について論じた文章の紹介です。

：

シリマン講義において，フォンノイマンは数学の基礎に関する興味深く挑発的な考えについて簡単に触れている．

チューリングは，計算可能性についての著名な論文において，一台の計算機はどうすれば他の計算機を模倣できるのかということを指摘している．第二の計算機のための命令は，「短い符号」によって，それを実行する第一の計算機のために，どのようなことをするかという一連の命令へと，おおまかに翻訳される。

そのような符号翻訳によって，第一の計算機は，内部では別の言語で作動しているにもかかわらず，計算目的においては第二の計算機と同じようになる．

この手順は，日々の計算機の利用において普通に行われる大変に便利なツールとなっている．

もし，我々が脳をある種の計算機であるとみなすならば，我々はお互いに使っている外部言語は、計算に用いている内部言語とは大きく異なっている可能性がある．(これにはもちろん，論理的・情報処理的現象と数学的計算の両方が含まれる）

実際，フォンノイマンは，我々がいまだに精神的計算のための第一言語の性質をまったく知らないでいることについて，さまざまな形で説得的な議論を行っている．

彼は述べている．「このようであるから，我々の中枢神経システムにある論理と数学は，言語としてみた場合に，我々の日常的な経験にとっての言語とは構造的にも本質的にも異なっているにちがいない．
ここで問題となっている言語は，完全な符号よりは，さきほど論じた「短い符号」に対応するということを確認しておくべきだ．

我々が数学を論じるとき，我々は中枢神経システムが実際に用いている第一の言語のうえに基礎をおく第二の言語で論じているのかもしれない．

つまり，我々の数学の外部的形態は、中枢神経システムが実際に用いている数学的・論理的な言語と，まったく同一ではないのだ．

しかしながら，信頼性と論理的・数学的深さについての先の所感は，システムが仮にどのようなものであったとしても，我々が数学として意識的かつはっきりと理解しているものと大きく変わることはないであろう．」

まとめるならば，フォンノイマンのオートマタ理論への貢献は，現代数学技術のまったく新しい研究分野と透徹した利用分野の発見であった．

彼が開拓の為に開いた領域の全体像を理解するためには何年もかかるであろう．オートマタの領域での彼のプロジェクトのいくつかが，未完成であったことは残念なことである．

Von Neumann's contributions to automata theory
Claude E. Shannon
Bulletin of the American Mathematical Society
Source: Bull. Amer. Math. Soc. Volume 64, Number 3, Part 2 (1958), 123-129.(最後の部分)

エントロピーについては別途書きます。書きかけているのですが長くなりすぎたので書きなおしますw

> デジタル通信とは、自己増殖オートマトン。つまり複製を作ったり、進化
> が自動的に起きるシステムです。

ここにすでにかなりの飛躍があると思います。

デジタルシステムの一種として、デジタル通信もチューリングマシンも自己増殖オートマトンも位置づけられますが、単に通信を行うことが自己増殖であると定義した例はないと思います。どこかにそういう文献などがありますか?

また、言語そのものをデジタルシステムであるところのオートマトンで解析する話と、人間がどのように言語を理解しているかの脳の働きの話、あるいは人間が成長にともなって言語を獲得する話などともどこか混在しているような印象を受けます。たとえばこの3つについては後ろのほうになるほど難しさが増していて、研究としてもまだ解のない分野でもあると思います。以前のコメントでどなたかが記号接地問題などについて触れていたかと思いますが。

ShinRai さん自身も話が飛んでいると書いていますが、用語間の関係が曖昧になると議論も理解も進まないことがあるので確認しながら進んで行ったほうがよさそうにみえますね。

わたしの前のコメントが間違っていたので訂正したいです。予測可能性=エントロピーのように書いてしまいましたが、正確には予測可能性が低い = エントロピーが高い、でした。

すみません。

> 実際、伝言ゲームで、文章を伝えていくと、どんどん細部が失われたり、
> 変化していきます。こういうのを、エントロピー増大と考えるわけです。

このたとえは正しいと思います。なので別の資料をさがしてみました。

http://brownian.motion.ne.jp/pdf/14_PowerOfInfoEntropy.pdf

ただ、この資料も正確ではないので補足しながら話を進めます。

http://ja.wikipedia.org/wiki/%E6%83%85%E5%A0%B1%E9%87%8F
http://ja.wikipedia.org/wiki/%E7%9B%B8%E4%BA%92%E6%83%85%E5%A0%B1%E9%87%8F
http://ja.wikipedia.org/wiki/%E5%86%97%E9%95%B7%E6%80%A7_%28%E6%83%85%E5%A0%B1%E7%90%86%E8%AB%96%29

つまり、エントロピーとか情報量とか言う時に

・選択情報量(自己エントロピー)
・平均情報量(平均エントロピー)
・相互情報量
・エントロピー率

などを全部エントロピーと呼んでしまっているのがまずい気がします。


とりあえず、もとの文章がA「黒髪で肩くらいで後ろでまとめていて制服が似合ってたぶん20代前半の目がぱっちりした笑顔のかわいい女の子」だったのが、伝言ゲームによってA2「制服のかわいい女の子」くらいに伝わったとして、A2 をきいてもどんな女の子なのかよーわからん、というのを考えます。

まず、情報については A, A2 についてそれぞれ選択情報量(自己エントロピー)が定義できます。これは、本質的になにを伝えたいかという概念で、日本語であろうと数字列であろうと、伝えたいことの量を示します。

このとき、情報源=送信側の情報の桁数、つまり元のデータが複雑であるほど選択情報量が大きくなります。この意味において

> もしそうなら、底を2とする対数をとると、桁数が多い（ビット数が多い）ほど、秩序がある。

情報ひとつの桁数が多い場合、という意味であれば通常は自己エントロピーのことを想定しますので桁数が多いほど情報量が多い、と考えます。

このとき、自己エントロピーが高いほど情報量が多くなります。ここがわかりにくさの理由であるように思います。ここだけみるとエントロピー増大すると情報が増える!?ということになってしまいます。

上記 PDF の4ページに

> （情報を失う）＝（マイナスの情報を受け取る）＝（情報エントロピーを受け取る）

とありますが、受信前は、送信側が何桁の情報を送るかもその内容もわからないので高いエントロピーの状態にありますが、情報を受け取ることでその分エントロピーが下がります。

これはどういうことかというと、送信者・通信路・受信者のもつエントロピーというのは位置エネルギーのような場を構成していて、このエントロピーについてはエントロピー増大の法則に従うと考えることができます。

情報を伝達するということは、場のエントロピーを下げる行為であると考えることができます。位置エネルギーで言えば、物体を持ちあげるためにエネルギーを消費することに相当します。

このときに、どれだけ場のエントロピーを下げる効果があるかというのが、情報のもつ自己エントロピーだと言えますし、逆に言うと場のエントロピーを下げるためにどれだけの情報を送らなければならないか(どれだけエネルギーが必要か)ということを示す量になっています。また、受信側からみると送信側が何を送ろうとしているか予測した場合にどれだけ当てにくいか(予測可能性の低さ)を示す量であるとも言えます。

通信路における情報量の変化については、元のデータの桁数(PDF でいうところの選択肢)に対して曖昧さが増える現象なので、桁数に対する有効数字(正しい情報の割合)が下がります。このときには桁数はわかっていてもその桁が誤った状態になりえます。送信側は A を伝えようとして、受信側は A' を受け取ったとき、伝わる情報量としては A' になってしまうため、エントロピーの下がる量が減る、すなわち受信側ではエントロピーの高いままの状態になります。

通信路におけるエントロピーの増大についてもこのように考えると、場のエントロピーが増大するために、送っている(はずの)情報の自己エントロピーという視点では低下する、すなわち情報量が減る、と考えることができます。

また、ある情報量を表現に変換したときの密度のことを考えると、表現1シンボルあたりの情報量を考えることができます。これがエントロピー率です。

データ圧縮などでは、もともと伝わる概念としてはおなじ情報量でも密度が上がるのをエントロピーが高い情報であるなどと呼びますが、これは平均エントロピーのさらに平均の話で、1シンボルの表現あたりの自己エントロピー(エントロピー率)が高いことを示します。

まとめると、

・自己エントロピー = 情報の複雑さの指標
・エントロピー = 場の乱雑さの指標
・エントロピー増大の法則は、場に対して適用される
・エントロピーを減少させるための力として自己エントロピーは定義される

というふうに考えることで整合性がとれるんじゃないかと思いますがいかがでしょうか。

taka-hr様

熱のこもったコメントをいただき感謝申し上げます。

たしかに「自己エントロピー」というものを、「情報の複雑さの指標」、あるいは「情報量」、「有効数字」という風に考えると、それだけで議論がすっきりしてくるように思います。


「場の乱雑さ（ノイズなど）の指標」は、かならずしも常に一定の情報劣化がおきるというわけではなく、情報劣化の可能性（蓋然性, Probability)ということになるのでしょうか。


送信側と受信側でそれぞれの「自己エントロピー（有効数字の要求）」を設定しておけば、回線上での劣化は受信側の要求を満たす間は許容されるのであり、最大の劣化が起きたとしても許容範囲に収まるよう、送信・受信側の自己エントロピーを設定すればよいわけですね。

ここでエントロピーは、情報においても、熱力学においても、ほぼ同様の意味になりますね

A2 とか A' とかをそろえるの忘れていてすみません；；

>「場の乱雑さ（ノイズなど）の指標」は、かならずしも常に一定の
> 情報劣化がおきるというわけではなく、情報劣化の可能性
> （蓋然性, Probability)ということになるのでしょうか。

　場の量としては、「どれだけ乱雑であるか」です。

　通信路容量とか、どれだけ劣化するか = エントロピーの増大量については
ShinRai さんのおっしゃるとおりの意味で、可能性の議論になります。
必ず n bit 劣化する、ということは通常はありません。

> 送信側と受信側でそれぞれの「自己エントロピー（有効数字の要求）」を
> 設定しておけば、回線上での劣化は受信側の要求を満たす間は
> 許容されるのであり、最大の劣化が起きたとしても許容範囲に収まるよう、
> 送信・受信側の自己エントロピーを設定すればよいわけですね。

これが「自己エントロピー」なのかは悩むところですが、送信側と受信側が
知る情報の量(場のエントロピーの減少量)という意味では正しいと思います。


今回はわたしも途中混乱させてしまった、というか自分も少し勘違いしていたところも
あったので復習するいい機会でした;

taka-hrさま


>これが「自己エントロピー」なのかは悩むところですが、送信側と受信側が
>知る情報の量(場のエントロピーの減少量)という意味では正しいと思います。

たしかにそこで自己エントロピーという表現はよくないですね。

送信回路・受信回路でそれぞれ流通する（要求する）情報量というものがあって、
基本的に送信側の情報量が大きく、受信側では劣化するので小さいという相対関
係がある。

送受信間に、ノイズの存在する回線があって、そこではデータのエントロピーが
増大する可能性がある。

この場合、ノイズには、
　自然雑音
　ジョンソン雑音（ホワイトノイズ）
　熱雑音（白色ガウス雑音）
　位相雑音（水晶発振器からの）
などが考えられます。

ノイズによるエントロピー増加は、確率的に発生するのでしょう。

でも、このエントロピー増大がおきても、受信側の情報量要求より精度のいい
データとなるように回路を設計すればよいということになりますか。


エントロピー増大は、ノイズによるかく乱と考えると、乱雑さが増大することが
わかりやすいですが、伝言ゲームのように段々情報量が減っていく場合もそれに
該当するというところが、はじめはちょっとしっくり理解できませんでした。

これは、S/Nの、分母が増える場合(ノイズが増える）と、分子が減る(信号が
減少する)場合に該当するのでしょうか。

伝言ゲームの例で言うと、女の子を説明するための属性(= 情報全体の桁数)として

髪の色・髪の長さ・髪型・服装・年齢・目の大きさ・表情・身長・3サイズ・足の太さ・靴下の長さ・靴の色・etc...

などなどといった要素があると仮定します。

# セクハラしようとかじゃないのですがあくまで例として。。。

情報 A のときはある程度の情報がそろった状態で、A2 のときは、ほとんどの情報が
「不明」という属性値を持っていると考えることができます。

これを言いかえると、A→A2 の間の伝言者によるノイズが乗ったために情報が曖昧になった、すなわち
もとの情報の予測可能性が下がったため、エントロピーが増大したというふうに考えることができます。

途中の伝言者に、極端なひとがまじっていて、かわいい=おっぱい!という思い込み
(データ化け)を起こすと仮定すると

# あくまでセクハラしたいわけじゃなくって。。(ry

A3「黒髪の胸の大きな女の子」に情報が化けてしまうことさえあるかもしれません。


> これは、S/Nの、分母が増える場合(ノイズが増える）と、分子が減る(信号が
> 減少する)場合に該当するのでしょうか。

割り算しちゃえば、視点の違いだけで結局おなじようなことかもしれません。

ただ、もともと伝えたかった送信者の持っていた情報量の大小と、
通信路におけるエントロピーの増大についてはわけて考えることができると思いますので追記させてもらいました。