• はてなアカウントでログイン
• 無料ユーザー登録

ベストアンサー

• Z9M9Z2006/06/12 23:03:12

  満足50pt

  AとBが、以下のように順番に並んでいたとします。

  AAAABBAABABAABBBB

  これはどこに分岐を入れるべきでしょうか。いくつか考えられます。

  AAAA|BBAA BA BA BBBB = A4B0 | A4B8

  AAAA BBAA|BA BA BBBB = A6B2 | A2B6

  AAAA BBAA BA|BA BBBB = A7B3 | A1B5

  AAAA BBAA BA BA|BBBB = A8B4 | A0B4

  右側に書いたのは、分岐の左右でのAとBの頻度です。これらの候補からどれを選ぶかの基準として登場するのがinformation gainです。

  Wikiにもあるように、AxByなら、p=x/(x+y) として - p log p - (1-p)log(1-p)で計算します。これが小さい分け方を選択します。

  極端な例では、こんな並びの属性があれば、そこには自明な分岐があって、

  AAA | BBB = A3B0 | A0B3

  information gainは最小の0となっています。

  同様に、どの属性（特徴量、変数）で分岐すべきかを選択するにも、この値の小さい属性＆分岐から選択するのが基本的な方法です。

  物理のエントロピーとは「乱雑さの指標である」という概念的共通点があるだけと思っていますが、物理のエントロピーは記憶の彼方です、すいません。

  スター

  • akdamar 2006/06/13 10:02:33

    ありがとうございます！　とても具体的なイメージを持つことができました。

    もう少し詳しく教えていただけると助かるのですが、

    > AxByなら、p=x/(x+y) として - p log p - (1-p)log(1-p)で計算します。

    と、いうことは、このpは分岐の左右それぞれについて計算することになるのでしょうか。

    例えば上で挙げられている

    AAAA|BBAA BA BA BBBB = A4B0 | A4B8

    の場合でいえば、

    左のハコがp=4/(4+0)=1

    右のハコがp=4/(4+8)=0.333

    という理解でよいのでしょうか。

    初歩的な質問でまことにすみません。

    それから、ここでつかわれているlog xは底が2の対数ということでよろしいのでしょうか。

その他の回答

• Z9M9Z2006/06/13 20:03:59

  満足25pt

  >>このpは分岐の左右それぞれについて計算することになるのでしょうか。

  そうなります。両側のエントロピーの和が、分岐のよしあしになります。

  >>左のハコがp=4/(4+0)=1

  >>右のハコがp=4/(4+8)=0.333

  >>という理解でよいのでしょうか。

  はい。

  >>それから、ここでつかわれているlog xは底が2の対数ということでよろしいのでしょうか。

  はい。２が普通です。

  スター

  • akdamar 2006/06/15 10:35:04

    ありがとうございます。

    ついでにもうひとつ質問です。

    回答１では２つに分岐させるやり方を説明していただきましたが

    information gainを基準にしたアルゴリズムでは必ず２進木が生成されるのでしょうか？

    それともCHAIDのように３つ以上の分岐もありえるのでしょうか？

Z9M9Z2006/06/16 01:32:50

満足25pt

ありうるか、という問いには、かなり知識ないとnoとは答えにくいですが^o^３つに分ける分岐候補が複数ある中から、エントロピー最小の分岐候補を判定することは、むろんできるわけですし。

ただ、３種類以上のデータを分岐する場合でも、とりあえず１箇所どこで分けるか？と、各変数についてソートして２進木ベースで捜す、ということの方が、楽なのではないでしょうか。分岐１箇所ならともかく、２箇所以上の組となると、適当な分岐候補を発生させるところが若干面倒な気がするので。そのあたりは自信ないです。

スター

• akdamar 2006/06/16 16:48:21

  ありがとうございます。よくわかります。

  ２進木にするかそれ以上の分岐をとるかという問題は、ある意味個々の（ツリーの）アルゴリズムをどう構築するかにゆだねられていて、絶対にできないということではないのでしょうね。

• その他の回答を読む

この質問へのコメント

質問の情報

登録日時

2006-06-12 15:55:32

終了日時

2006-06-18 07:32:15

回答条件

1人5回まで

この質問のカテゴリ

• コンピュータ
• 科学・統計資料

この質問に含まれるキーワード

人気の質問

• この英文どうなってますか？ The boy seemed to be waiting for his mother to come.（その少年は母親が来…匿名質問者312日前
• 不定詞の形容詞的用法らしいんですけど、副詞的用法と書いたら✖️ですか？ I want to buy a book to read …匿名質問者112日前
• 日向陽葵という○V女優が好きなのですが似ている○V女優はいますか匿名質問者1日前
• 共通テストで使われるプログラミング言語は共通テスト特有の言語と聞いたのですが、受験勉強で身につけたプ…匿名質問者211日前
• 内定してほしいポケモンはいますか？匿名質問者1日前

メニュー

• 質問一覧
• カテゴリ一覧
• 無料ユーザー登録
• 人力検索はてなトップ

PC版

• お問い合わせ
• ヘルプ
• お知らせ
• はてなトップ