情報理論:連続情報のエントロピーについて。

【xの存在範囲が-a≦x≦aに制限されているとき、エントロピーを最大にする確率密度関数p(x)は
p(x) = 1/(2a)
となることを示せ。】
という問題があるのですが、解答で示し方の途中で
【∫[a,-a]p(x)dx = 1
の条件のもとで、H(X)を最大にする分布p(x)を求める。λをラグランジュの定数として
F = H - λ{∫[a,-a]pdx - 1}
とおく。
Fが変化する量δFを求めると…

としているのですが、ラグランジュの定数…というのは、どういう解き方になるのでしょうか?
別の参考書にも、同じような問題があってその本にも、
【変分法を応用し、未定係数λを使うと…】
とあるのですが、こちらもよく分かりません…。多分私が知らないことを前提していると思うのですが、どうやって解けばいいのでしょうか?

よろしくお願いします。

回答の条件
  • 1人2回まで
  • 登録:2008/08/18 16:49:15
  • 終了:2008/08/22 20:13:17

回答(2件)

id:HASE3 No.1

HASE3回答回数17ベストアンサー獲得回数32008/08/18 19:19:28

ポイント35pt

ラグランジュ乗数,未定乗数,ラグランジュの未定乗数法とかで検索すればその辺りの情報が出てきますよ.

例えば,http://oshiete1.goo.ne.jp/kotaeru.php3?q=28887

僕は,金谷健一:これならわかる最適化数学という本で勉強しました.

手元の本で探すと,C.M.ビショップ:パターン認識と機械学習上の付録にも詳しい説明がありました.

上記のURLでは

変分法でしばしば使いますので、計算例は変分法の教科書を見ると良いです。

とのことです.

id:rapuntuleru

回答ありがとうございます。

2008/08/21 15:23:09
id:rsc96074 No.2

rsc回答回数4401ベストアンサー獲得回数4042008/08/18 20:31:49

ポイント35pt

 大学の教養の微分・積分に出てくるラグランジュの未定乗数法のことなら、以下のURLにいい説明がありました。

http://ja.wikipedia.org/wiki/%E3%83%A9%E3%82%B0%E3%83%A9%E3%83%B...

http://szksrv.isc.chubu.ac.jp/lagrange/l1.html

id:rapuntuleru

回答ありがとうございます。

2008/08/21 15:23:13
  • id:ita
    http://ja.wikipedia.org/wiki/%E3%83%A9%E3%82%B0%E3%83%A9%E3%83%B3%E3%82%B8%E3%83%A5%E3%81%AE%E6%9C%AA%E5%AE%9A%E4%B9%97%E6%95%B0%E6%B3%95

    では駄目ですか?同じ問題が^^

    簡単な話が、「等高線と条件を満たす線が重なる」てことです。
  • id:ita
    f(x1,x2,x3...)を g(x1,x2,x3...)=0という条件でx1,x2,x3...について最小化

    S=f(x1,x2,x3...)+λg(x1,x2,x3...)をλ,x1,x2,x3,...について最小化
  • id:rapuntuleru
    コメントからありがとうございます。
    ほんとですねw
    もう少し自分で考えてみようと思います。

この質問への反応(ブックマークコメント)

「あの人に答えてほしい」「この質問はあの人が答えられそう」というときに、回答リクエストを送ってみてましょう。

これ以上回答リクエストを送信することはできません。制限について

絞り込み :
はてなココの「ともだち」を表示します。
回答リクエストを送信したユーザーはいません