1950年4月のElectronics誌に掲載されたシャノンの論文Recent Development in Communication Theory では、PCM方式でビット化したデータを、アナログな振幅強度によってベースバンド信号に変えている図が描かれています。
どうしてビット化したものを、わざわざアナログな振幅値に変換する必要があったのでしょう。
ベストアンサー
-
gday
満足42pt
>しかし、そんなこと誰も教えてくれませんでしたよ。
>みんな、あの図をみて、0が1になる確率を考えることはデジタル通信だと思ったのでは?
非常に厳しい言い方になりますが、「それはあなたの知識レベルがその論文を読むレベルに至っていない」ということだと思います。
それに「みんな」が誰でも誤解無く楽に読める内容の論文でもありません。
この手の論文は特定の分野についてその当時の最新の知見がこめられているのですから、それを読む前提になる相応の知識は必要でしょう。
少なくとも電気・電子工学や通信・情報工学を大学でさぼらずに学んだ人が読んで理解できるレベルの内容です。
そしてこれらの知識は教えてもらうのではなく自ら学ぶべきものだと私は思いますよ。
>>5V系のCMOSロジックでは"0"は0.00～0.05Vで"1"は4.95～5.00Vで送り、
>>受ける側は0～1Vを"0"、4～5Vを"1"とみなすプロトコルでアナログ的に伝送
>知りませんでした。
ということでしたら、あなたは今すぐに大きめの書店か図書館に出向いてデジタルシステムは具体的にどうやって作られているかに関する本を何冊も読むべきです。そこには０・１だけの話はほとんど無く、信号の送り側と受け側の電圧マージンや遅延時間やノイズ対策についての記述が多くを占めていることにすぐに気付くと思います。
定本 ディジタル・システムの設計―ディジタル技術の基礎からASIC設計まで
- 作者: 猪飼 国夫 本多 中二
- 出版社/メーカー: CQ出版
- メディア: 単行本
-
ShinRai
ShinRaiその他の回答
-
gday
満足28pt
>どうしてビット化したものを、わざわざアナログな振幅値に変換する必要があったのでしょう。
わざわざ変換している訳ではありません。最初からアナログな世界の話にデジタルの概念を被せているだけです。
送信という観点から考えてみると、情報の重要な点は、一式の可能なメッセージの中からひとつの特定のメッセージを選ぶというところにある。送信されなければならないのは、情報源によって選択された特定のメッセージの仕様である。もしそのような不明瞭ではない仕様が送信されると、そのときに限って、受信点でメッセージが復元される。このように、我々の意識上では、情報というのは一式の可能性からの選択という概念と結びついている。
ここで述べられているアナログな情報（波形）の中から意味のある選択肢を幾つの見出すことができるかという概念そのものです。
この特異な選択肢として
『もっとも単純な選択のタイプは、それぞれ1/2の確率で発生する二つの可能性からの選択である。たとえばこれは、コインを投げ上げて、表になるのと裏になるのが同じ確率になるような場合だ。このような選択によって生み出された情報量を、情報量の基本単位、二元離散値(binary digit)、あるいはもっと簡単に「ビット」として使うと便利である。』
と述べられているような2値のデジタルがあるのです。
通信の理論は通信経路による信号の劣化抜きには語れない世界です。
ビット化した情報を遠距離まで届けるにはビット化した形そのままでは遅れないのです。
ベースバンド通信だとしても現実的には0Vは"0"、5Vは"1"という理想定義なデジタルなビットを直接送っている訳ではなく、例えば5V系のCMOSロジックでは"0"は0.00～0.05Vで"1"は4.95～5.00Vで送り、受ける側は0～1Vを"0"、4～5Vを"1"とみなすプロトコルでアナログ的に伝送しています。そしてその伝送線の長さはゼロではなく伝送の間に波形は劣化し、ノイズを受け取り受ける時点では元の波形とは似ても似つかない状態で"0","1"の判断を行って動いているのです。
データはあくまでも概念としてのデータでしかありません。それがどのように保存され、伝送され、そして検出するかは全てアナログの世界での話になります。
-
ShinRai
-
この質問へのコメント
質問の情報
- 登録日時
- 2010-06-22 11:03:59
- 終了日時
- 2010-06-29 11:05:02
- 回答条件
- 回答にURL必須 1人3回まで
この質問のカテゴリ
この質問に含まれるキーワード
人気の質問
-
この英文どうなってますか？ The boy seemed to be waiting for his mother to come.（その少年は母親が来…
匿名質問者
1
1
-
不定詞の形容詞的用法らしいんですけど、副詞的用法と書いたら✖️ですか？ I want to buy a book to read …匿名質問者11
-
日向陽葵という○V女優が好きなのですが似ている○V女優はいますか匿名質問者
-
共通テストで使われるプログラミング言語は共通テスト特有の言語と聞いたのですが、受験勉強で身につけたプ…匿名質問者1
-
内定してほしいポケモンはいますか？匿名質問者
情報理論における最近の発展
現代および可能性のある未来の通信システムに関する非数学的分析。著者は会話をする速度での英語の送信を20:1の信号対雑音比率でわずか2.3Hz/secの帯域で送信することができるといっている。
クロード・Ｅ・シャノン ベル電話研究所(NJ州マレイヒル)
新しい変調システム、たとえば周波数変調(FM)やパルス位置変調(PPM)やパルス符号変調(PCM)には、興味深い特徴がある。それは帯域を信号対雑音比率に交換することができることだ。つまり、広い送信帯域を使うことができるならば、より少ない送信電力で同じだけの情報を送信できるのである。この逆に、PCMにおいては、送信出力を上げれば、狭い帯域を使用することができる。これらのシステムの発見により、通信理論の基礎は再検討されることとなった。たくさんの人々がこの分野に貢献をしている。ガボー(Gabor)、ウィーナー(Wiener)、タラー(Tuller)、サリバン(Sullivan)、そして筆者である。
通信理論の基本的な考え方は新しくない。重要な先駆的な仕事は、1920年代にナイキスト(Nyquist)とハートリー(Hartley)によって行なわれた。そして、いくつかのルーツは19世紀の物理学者であるボルツマン(Boltzmann)にまでさかのぼることができる。しかしながら、最近の発展は、従来の処理ではかえりみられることがなかった要素を含んでいる。とくに、我々は今日、回線における雑音の効果と、送信されるメッセージの統計的な性質の重要性について理解を深めた。
この論文では、最近の業績について、できるだけ数学を使わないで説明することが試みられている。もともとが数学的な分野であるので、これは厳密さを犠牲にしている。したがって、より正確な処理に関しては、読者は参考文献を参照していただきたい。
もっとも一般的な検討を加えられてきた通信システムのモデルを、図１に示す。これは、送信に付される生の情報やメッセージを生みだす情報源と、この情報を回線に適した状態に符号化したり変調する送信機と、それから符号化された情報や信号が受信点まで送信される回線からなる。送信中の信号は、雑音によって妨害を受けるが、これは雑音源として図に示してある。受信された信号は、元のメッセージへと復元するための復号化や復調を行なう受信機のもとへといき、それから情報の最終目的地にいく。
もしさまざまな要素を適切に解釈すれば、このシステムは通信の問題のほとんどを包含することがわかる。たとえば、テレビ放送の場合には、情報源とはテレビで放送される場面のことであり、メッセージとは撮影管の出力であり、信号とは送信機の出力のことである。
通信理論の基本的な考えでは、情報は質量やエネルギーのような物理量として取り扱うことができるということである。図1のシステムは、輸送システムと似ている。たとえば、ある場所で材木を製造している製材所と、第二の地点に材木を輸送するコンベヤシステムを想像してみよう。この状況においては、2つの重要な量がある。製材所で材木が生産される量である生産量R(立方フィート/秒)と、コンベアの輸送能力C(立方フィート/秒)である。もしRがCより大きければ、製材所の全生産量を輸送することはできない。もしRがCよりも小さいか等しければ、材木がコンベア上で効率よく梱包されるかどうかで、全量の輸送が可能か不可能か決まるだろう。しかしながら、製材所にのこぎりがあれば、材木を小さな木片にできるので、コンベアのもっている能力を100%効率的に使うことができる。当然のことながら、この場合我々は受信地点に木工所をつくって、顧客に渡す前に元の形状に戻さなければならない。
もしこれが音だったとしたら、所与の情報源によって一秒あたりにどれだけの情報が生み出されているか(R)を適切な単位で測定することと、情報を送信する回線の容量(C) を測定することができなければならない。さらに、適切な符号化あるいは変調システムを使うことによって、生産率Rが回線容量Cよりも少なければ、少ないときに限って回線上に情報を送信することができる。このようなことが現実的に行なえるということが最近の研究の成果であり、以下でどのように実現するかについてお話ししたい。
どのようにして情報は測定できるかということを論じるためには、通信技術者の視点から、情報の正確な意味を明らかにしておくことが必要である。一般に、送信されるメッセージには意味がある。しかしながら、これは情報を送信するときの問題にとっては、まったく無関係である。普通の英語の文章を送信するのと、一連の意味のない音節を送信するのは同じくらい難しい。(実際には、意味がないほうがより難しい。)この問題については、ちょっと考えてみるとわかる。送信という観点から考えてみると、情報の重要な点は、一式の可能なメッセージの中からひとつの特定のメッセージを選ぶというところにある。送信されなければならないのは、情報源によって選択された特定のメッセージの仕様である。もしそのような不明瞭ではない仕様が送信されると、そのときに限って、受信点でメッセージが復元される。このように、我々の意識上では、情報というのは一式の可能性からの選択という概念と結びついている。
もっとも単純な選択のタイプは、それぞれ1/2の確率で発生する二つの可能性からの選択である。たとえばこれは、コインを投げ上げて、表になるのと裏になるのが同じ確率になるような場合だ。このような選択によって生み出された情報量を、情報量の基本単位、二元離散値(binary digit)、あるいはもっと簡単に「ビット」として使うと便利である。1ビットの情報に含まれている選択は、図2Aのように示すことができる。bの地点において、我々は上の線、下の線のどちらでも、それぞれ1/2の確率で選ぶことができる。もし起こりえる確率が等しいN通りの可能性があれば、その情報量というものは、(底を2とした対数で) log2N によって与えられる。この理由は、それぞれが1/8の発生確率である8つの可能性があった場合として、図2B を見るとわかる。この選択はそれぞれが1ビットの情報量をもつ3段階の選択として考えられる。最初のビットは8通りあるうちに前半4つか後半4つの選択、2番目のビットは選択された4つの選択肢のうちの最初のペアか二番目のペアかの選択、そして最後のビットはペアのうちの最初なのか二番目なのかの選択を決定する。必要とされるビットはlog2N であり、この場合にはlog28 あるいは3ということになる。
もし発生確率が均等でないならば、式は少しばかり複雑になる。簡単な事例を図2Cに示す。ここでは選択肢は4つあり、それぞれが1/2, 1/4, 1/8, 1/8となっている。図に示すように、これは一連の二元的な選択としてブレイクダウンすることができる。生み出された情報は、（ １ ＋ 1/2 ＋ 1/4 ）として表わすことができる。この１というのは、(ｐ点における)最初の選択であり、常に発生するものである。1/2というのは、ｑ点における選択であり半分のときだけ起きる。(ｐ点において下の線が選択されたときに) こういった具合に考えていくのだ。一般に、同様な分解によって、選択肢がそれぞれに発生確率p1, p2, ・・・pnを有するときには、情報量は以下の式によって与えられる。
H ＝ －（p1 log2 p1 + p2¬ log2 p2 + ・・・+ pn log2 pn ） (1)
こうして、この式はひとつの選択によって生み出される情報量を与えてくれる。ひとつの情報源は、一連の選択からなるメッセージを生みだす。たとえば、印刷された文章の文字や、基本的な単語や、会話の音声など。*1 これらの場合も、(1)式を適用することによって、1秒あたりあるいは１シンボルあたりの情報量を計算することができる。興味深いことに、印刷された英語のテキストの場合、単語長にかぎった統計的な構造を考えたとき、情報率は1文字あたりおよそ2ビットである。広い範囲での意味の構造は、この数字を著しく減らすことになるだろう。
情報量H の測定が重要であるのは、それが情報源の統計にもとづいた適切な符号化を行なうことによる送信の効率化の実現に結びつくからである。これをよりよく理解するために、文字がA, B, CとDの4種類しかない言語について考えてみよう。これらの文字の発生確率が、図2Cと同様に、1/2, 1/4, 1/8, 1/8であると想定しよう。
この言語で文章が長く続いたときには、Aは半分の確率で生起し、Bは4分の1の確率で生起する、ということになる。我々がこの言語を0と1の二元離散値に符号化したいとする。つまり、我々は2種類のパルスを使うパルスシステムで送信したいのだ。もっとも率直な符号は次のようなものだ。A=00, B=10, C=10, D=11. この符号はメッセージの一文字あたり2つの二元離散値を用いる。統計を用いれば、以下のようなより効率のよい符号を作ることができる。A=0, B=10, C=110, D=111. 符号化された形態からもとのメッセージを復元することは、簡単に証明できる。さらに、使用する二元離散値の数は、平均よりも少なくなる。実際に計算をしてみると、以下のようになる。
1/2 (1) + 1/4 (2) + 1/8 (3) + 1/8 (3) = 1 3/4
初項はAの文字が1/2の確率で二元離散値を1つ使用して生起することを意味する。以後の項も同様である。(各文字ごとの生起確率とビット数の掛け算の総和) 1 3/4という値は、図2Cで計算されたH の値であることに注目していただきたい。
この特別な事例に対して実証したことは、一般にも通用する。もしメッセージの情報率が、一文字あたりHビットであったとすると、平均すれば文章の一文字あたりHビット(二元離散値)を用いるだけで二元離散値に符号化できる。これより少ない量で符号化できる方法は存在しない。
回線の容量
さて、情報を送信するための回線の容量Cをどのように定義するかについて考えてみよう。情報源における製造レートはビット/秒で測定したので、Cも当然のことながら同じ単位で測定したいと考える。そうすると質問は、「与えられた回線を使って、一秒あたり最大限いくつの二元離散値を送信することができるか」ということになる。
いくつかの場合、答えは簡単である。テレタイプ回線においては32の文字がある。可能性のあるシンボルが同じ確率で使用されるとすると、それぞれの文字は、したがって5ビットで表わされることになる。もし我々が一秒あたりn文字送信できるとし、雑音レベルは送信時にいかなる誤りも引き起こさない程度に高くないとすると、我々は1秒あたり5nビット送信できる。
では、回線が以下のように定義されたとしよう。我々は、信号のために、Wサイクル/秒の一定の周波数帯域の中で、どのような時間の関数f(t)であっても使うことができるとする。この手の関数は、図3に示すように、1/2W秒ずつの幅で均等に割り振られた一連のサンプリング(標本化)点における振幅値を与えることで指定することができるということがわかっている。ということはつまり、そのような関数は1秒あたり2W回の自由値あるいは相をもっているといってもよいだろう。
もしそのような回線上にいかなる雑音も存在していないとすれば、それぞれの標本に対して無限数の異なる振幅レベルを判別できることになる。結果的に、我々は原理的には1秒あたり無限数の二元離散値を送信できることになり、回線容量Cもまた無限ということになる。
たとえ回線上に雑音が存在するとしても、送信出力に制限を設けなければ、我々はそれぞれの測定点において無限数の異なる振幅レベルを判別することができ、容量は無限となる。雑音が存在して、送信出力に制約があるときに限って、回線容量Cは有限となる。もちろん、この容量は、雑音の統計的特長と出力制限の性質にも依存する。
雑音の中でもっともわかりやすいのが白色熱雑音と抵抗雑音である。振幅の生起確率分布はガウス曲線の正規分布を示し、そのスペクトラムは帯域の外ではゼロであるかもしれないが、問題の帯域においては周波数にかかわりなく一定である。この種の雑音は、その平均平方振幅値であるNによって完全に特定することができる。このNが、抵抗の標準単位を持ち込む力である。
送信出力に関するもっとも単純な限界値は、送信機によって持ち込まれる平均的な力(より正確に表現するならば、信号の平均平方振幅値)が、Pを超えないということである。もし我々が、回線をこれらのWとPとNによって定義づけるならば、回線容量Cを計算することができる。それは、
C = W log2 (P +N)/N (2)
ビット/秒ということになる。P /Nが大きな値であるときにこの式がおおよそ当てはまることは一目瞭然である。受け取った信号はP +Nの力を持っている。そして、我々はそれぞれの測定点において、おおよそ √ (P +N)/N の数だけの異なる振幅として観測することができる。この理由は、受信された信号の振幅の範囲は√(P +N)に比例するのに対して、雑音が√Nに比例した不確実性を持ち込むというところにある。したがって、ひとつの標本によって送信可能となる情報量は、log2 (P +N)/N ということになるのである。独立した標本の数は1秒あたり2W個あるので、回線容量は(2)式で求められる。この式は、上記の議論が示すよりもより深遠で、より厳密な重要性をもっている。実際に、この信号の関数を適切なところに設定すれば、誤り発生率を希望するだけ低い値に設定してW log2 (P +N)/Nビット/秒を送信することができるのだ。これよりも高い伝送率では、任意の少ない誤り発生率で送信することはできない。これは回線容量とは、雑音があるときの量として定義できるということを意味している。
この回線容量Cを求める公式は、P /Nのいかなる数値にも適用できる。たとえP /N の値が非常に小さくても、つまり平均的な雑音の力が平均的な送信機出力よりもずっと大きかったとしても、W log2 (P +N)/N の伝送率で希望するだけの少ない誤り発生比率のもとで二元離散値を送信することができる。この場合、log2 (1+P/N)の値は、(P /N) log2 e、あるいは1.443 P /N に近似する。回線容量C = 1.443 PW / N になる。
回線上をCの伝送率で送信できるのは、情報を適切な方法で符号化したときに限られるということは強調しておかなければならない。一般に伝送率Cは現実には達成することができない。ますます複雑化する符号化を行なって、送信機と受信機の側でますます長時間化する遅延を伴うことによってのみ、限界に接近することができる。*2白色雑音の場合には、最適な符号化を行なった場合に、送信された信号自身が出力Pが雑音に対して抵抗をもつような構造になっていた。
(以下、いわしで引用した個所に続きます）
（１）基本は、人間の勝手な都合
（ａ）デジタルはアナログを特定の条件で区切って状態を示す手段
特定の条件というものは、人間の都合で決める
例えば、アナログ信号でＡからＤまでの状態が存在する場合に、ＡからＢまでの区間をゼロ、ＢからＣまでの区間を１、ＣからＤまでの区間を２といった具合に決めてしまう
特定の条件を決めた人以外には、どのように分けているかなどわからない
さらに、符号化（１の場合はＡと解釈することとして、２の場合はＢと解釈すること）などがあればなおさら理解できない
（ｂ）モールスは情報伝達手段
SOSは・・・－－－・・・だと決めたのは、これまた人間
・・・－－－・・・がSOSだと知ってる人には通じるが、知らない人には何のことやらわからないのはデジタルの場合と同じ
（２）プロトコル
一人一人が個別に決めては通信として成り立たないため、互いに取り決め（プロトコル：通信規約）を交わしておく
（３）コンピュータは理解しているのではなく人間の指示通りに動いているだけ
コンピュータは人間の作ったプログラムに従って動いている
人間が数値だとプログラミングしていれば、それは数値として扱われ、人間が文字コードだとプログラミングしていれば、それは文字コードとして取り扱う
>アナログとデジタルを違うものだと認識しているのでは？
>（１）基本は、人間の勝手な都合
>（ａ）デジタルはアナログを特定の条件で区切って状態を示す手段
その通りです。
アナログとデジタルの間に、何か本質的な違いがあるのではないか
という風に考えているのです。それを知りたいのです。
熱力学のエントロピー概念も、わかっていたかもしれません。
[In the Illinois lectures von Neumann next discussed Hamming’s work on error-detecting and error-correcting codes. He then showed how the digital system with a base (binary, decimal, etc.) is an application of information theory. “Digitalization is just a very clever trick to produce extreme precision out of poor precision. By writing down 30 binary digits with 30 instruments, each of which is only good enough that you can distinguish two states of it (with intrinsic errors maybe on the 10 percent level), you can represent a number to approximately one part in a billion. The main virtue of the digital system is that we know no other trick which can achieve this. From the information point of view it is clear that this can be done, because the entropy in 30 binary instruments is 30 units, and something which is known to one part in a billion has an entropy of the logarithm of a billion (to the base two), or about 30 units.”
He then pointed out that while organisms use mixed analog-pulse systems for transmitting information, they never (to the best of our knowledge) use a coded digital system with a base. Rather, when “the nervous system transmits a number, it transmits it by what is essentially a frequency modulation trick and not as a coded digital aggregate.” He suggested that the reason for this is that the frequency modulation method is more reliable than the digital system.]
I have been trying to justify the suspicion that a theory of information is needed and that very little of what is needed exists yet. Such small traces of it which do exist, and such information as one has about adjacent fields indicate that, if found, it is likely to be similar to two of our existing theories: formal logics and thermodynamics. It is not surprising that this new theory of information should be like formal logics, but it is surprising that it is likely to have a lot in common with thermodynamics.
J. von Neumann “Third Lecture: Statistical Theories of Information “より
デジタルはアナログを特定の条件で区切って状態を示す手段
際限なく細かく切り刻めばアナログとデジタルは一致するだろうけど、どこまで細かくする必要があるのか、さらに、現実的にどこまで細かくする事が可能か、経済的にどこで区切りをつけるかといったような人間の都合で、適度なサイズに切り出しているのがデジタル
元を正せば同じ物を相手にしているのだから、本質的な部分での違いはない。数値か文字コードかという問題などと同様に、扱う側がどう扱うかだけの問題
説明ありがとうございます。
そのご説明だと確かに本質的な違いはないように思えます。
しかしながら、そのような静的な切り刻みとは別に、
もっと動的な、ダイナミックな情報伝達というところで、
何か違いはないものでしょうか。
フォン・ノイマンを読んで、そんな気がしてきました
情報伝達をデジタル的視点で切り刻んで見る事で、時に、人間にとって扱いやすいものとなるだけであって、逆に、人間にとって扱いやすいように視点を変えているとも言える
> みんな、あの図をみて、0が1になる確率を考えることはデジタル通信だと思ったのでは?
混乱させたらすみませんが、「0が1になる確率」と考えるのはデジタル通信だと思います。
電圧値がどれだけ変化する可能性があるか、というのはアナログですが、その結果として0なり1なりを検出して判定するための入力回路を通過した時点で、「0が1に誤判別される確率」というのを考えることができます。
>> 5V系のCMOSロジックでは"0"は0.00～0.05Vで"1"は4.95～5.00Vで送り、
>> 受ける側は0～1Vを"0"、4～5Vを"1"とみなすプロトコルでアナログ的に伝送
> 20倍の精度劣化(?)でも大丈夫ということでしょうか。
> これもエントロピーとつながりそうですね。
CMOS ロジックが使われるような場面では普通は誤り訂正符号などは用いられていません。
これはエントロピーとの関連でいえば、
「受ける側は0～1を"0"、4～5Vを"1"とみなすプロトコル」を用いれば、たとえば数cm～数10cm 程度の回路内で、たとえば数十MHzくらいの範囲であれば、ほとんど誤りの可能性なく送受信できる、すなわち通信路容量 = 1 とみなせるということから、このようなプロトコルが使われていると言えます。
ですが、これが何m も離れた場所との通信を保証する、あるいはより高速な通信を行うためには同じCMOSロジックを延長しただけでは誤動作の可能性が増えてしまいます。このとき、どれだけ誤動作(誤受信)が増えるかを議論するためにエントロピーや通信路容量という概念が生まれています。
シャノンの定理以前の概念では、ノイズが乗ることがあるとか電圧がどれだけ減衰するかということをアナログ値としては測れても、この通信路で情報がどれだけ送れるかを測る手段がなかったわけです。
たとえば電話で話すにしてもモールス信号で送るにしても、非常にノイズの多い回線では聞きとれない可能性について考える必要があります。
もとの要求としては、情報を伝達したい、ということがあるわけですが、電線でも光ファイバでもいいのですが、必要な情報を必要な速度で送れるかどうかを測定するための仕組みが必要だということです。
このときに、「情報量」という概念を導入して、送りたい情報を計測可能としました。それまでもたとえば文字数とかで測ることはできたかもしれませんが、言語によって必要な文字が違ったり、あるいは画像を送るときなどでは比較困難だったものを統一的に扱える概念としたわけです。
情報を伝達することを考えると、通信路を経由することでもとの情報がだんだん失われることになります。情報が増えたり明確になったりすることはありえません。理由はたとえばノイズだったり、伝書鳩がどっかに飛んで行ってしまったり。。この点が熱力学・統計力学との類似性になります。
もとの情報量を通信路符号の長さで割ったものを、通信路符号におけるエントロピーと名づけ、このエントロピーが増加するときに、受信地点で正しく受け取れる情報の限界値について示したのが通信路符号化定理です。
---
また、いずれにしても、シャノンの定理や情報量の概念というのはデジタル化することで計測可能になったものではありますが、アナログの情報についても A/D - D/A 変換を含めて考えれば適用が可能です。
たとえば音楽を伝えるというときに、16bit, 44.1KHz, 2ch の情報量としてとらえてそれを伝達すれば十分な伝達能力がある、ということが言えます。
これをさらに不要な情報、冗長な情報を削減することで圧縮を行い、たとえば128kbit/s の情報量に削減して伝達するようなことが行われています。
これらはデジタル化の応用技術ではありますが、もとは「音楽の情報」を伝えるという観点から作られた方式であるわけで、最後は鼓膜の振動の波形に再生できることが必要であるわけです。
こういう側面が、みなさんの言っている
> デジタルはアナログに対する視点の一種
ということになると思います。
フォン・ノイマンは、デジタルなハミング符号のことを、エントロピーで論じています。
[イリノイ大学の講義で、フォン・ノイマンは、続いて誤り検出・誤り訂正についてのハミング
の仕事について論じました。そして彼は、底を2あるいは10とするデジタルシステムにおいて
いかに情報理論が適用されているかを論じました。
「デジタル化は、貧弱な精度から究極の精度を生み出すうえでとても賢いやりかたである。
それぞれが内部誤り率が10%程度の０か１かを判別することのできる30の装置を使って、
30のビットを書きこむとすれば、10億分の1ほどの精度で数字を描くことができる。
デジタルシステムの素晴らしいところは、他の装置ではそれを実現できないことである。
情報という点では、それが可能であることは明らかだ。なぜならば30の二元装置のもつ
エントロピーは、30単位であり、10億分の１の精度はlog 2底の10億、すなわち30単位
であるからだ。
続いて彼は、生体器官は、情報伝送において、アナログとパルス・システムの混合した
ものを利用していることを指摘しました。我々の知りうるかぎりにおいて、生体器官は
底をもつ符号化したデジタルシステムを使っていません。むしろ、神経システムが
数字を送信するときには、周波数変調を用いて送信するのであって、デジタルシステム
の集合体として送るわけではありません。その理由として、周波数変調方式は、
デジタルシステムよりも信頼性があるということをいいました。]
私は情報理論が必要であり、そのほとんどはまだ存在していないという疑念を正しいもの
として証明しようとしてきた。そのほんの片鱗のようなものはたしかに存在している。そして
その情報というものの隣接領域が示唆するところは、もしそれが見つかったとすると、現存
する２つの理論と似ていると思われる。形式論理学と熱力学である。この新しい理論が、
形式論理学と似ているということは驚くに値しない。しかし、それが熱力学と多くのものを
共有しているであろうということは、驚きである。
「宇宙を復号する」に引用されていました。
初めシャノンは、この関数をどう呼べばいいか確信がなかった。
「インフォメーション（情報)」というという言葉は、すでにあまりに
多くの含意があるので混乱を招くと感じた。では、どう名づければ
いいのか。シャノンはベル研究所の同僚の一人にこう語っている。
以下サイエンティフィック・アメリカンより
（略） フォン・ノイマンはもっといい考えを思いついた。フォン・ノイマン
はこう言った。「エントロピーと呼ぶのがいい。理由は二つある。
第一に、きみの不確実性関数は統計力学ではその名前で用いられて
きたのだから、名前はもうある。 第二に、こちらのほうがもっと重要だ
が、エントロピーとは何なのか、だれも知らないから、論争ではいつも
君が有利だ」
でも、本当にフォン・ノイマンはそんなやや世俗的な言い方をしたのでしょうか。
上の、情報理論への期待との間にズレがあるように思います
> エントロピーとは何なのか、だれも知らないから、
> 論争ではいつも君が有利だ
> 本当にフォン・ノイマンはそんなやや世俗的な言い方をしたのでしょうか。
単なる（いわゆる「ウィットのきいた」）ジョークなのではないかと。