人力検索はてな
モバイル版を表示しています。PC版はこちら
i-mobile

Generative Adversarial Network学習において
Generatorが、入力Iが何であるかに関係なく同じ出力Oを返すようになるのですが、 これは学習の設定上何か問題があるからでしょうか? しかし、Generatorが必ず同じ出力を返す事は、GAN学習の根本的アイデアには必ずしも反してはいない現象で、禁止されていない事だと思うのですが、同様の現象を確認した人は他に居るのでしょうか?

もちろん、Discriminatorが働いているので、Oは各ステップごとに変わります。
また、Oそれ自体も、学習データ中に含まれ得る値にはなってはいると見えます。

Oが局所に収束してしまうという事が問題なのですが、GAN学習ではそれが起こり得る事なのでしょうか?起こり得るとした場合、どのようにして回避しているでしょうか?

●質問者: tak
●カテゴリ:コンピュータ 科学・統計資料
○ 状態 :終了
└ 回答数 : 3/3件

▽最新の回答へ

1 ● vaaaaaanquish
●34ポイント ベストアンサー

おそらく仰っている現象は「Mode Collapse」と呼ばれるものだと思います。
Generatorが入力データ分布の一部の最頻値を学習してしまい、そこから抜け出せなくなる現象です。主にはDiscriminatorがFixした時点の分布を学習してしまう事によって発生します。

回避手法は様々あります。
DiscriminatorをFixさせずに学習するWGAN、Auto-Encoderを応用したVAEなどについて調べると良いと思います。

以下リポジトリにはGANの手法が詰まっているのでオススメします。
http://musyoku.github.io/2017/01/29/Unrolled-Generative-Adversarial-Networks/


takさんのコメント
DiscriminatorはFixしていません。にも関わらず、この現象が起きています。

2 ● ksknw
●33ポイント

素人なので適当です.
すでに回答されていますが,Mode Collapseというよくある現象だと思います.
"DiscriminatorをFix"というのはそういう局所解にハマってしまうという意味で,人間がFixするという話ではないと思います.
回避する方法としてこれも既に挙げられていますが,Wasserstein計量を使うWGANとか色々研究があります.
ただ,GANの研究をするのでなければ,画像増やしたり,ハイパーパラメータ調整を頑張ったりするのが手っ取り早い印象です(よく知りません適当です).

mode collapseしている例
http://yusuke-ujitoko.hatenablog.com/entry/2017/09/26/225018

WGANの解説スライド
https://www.slideshare.net/DeepLearningJP2016/dlwasserstein-gantowards-principled-methods-for-training-generative-adversarial-networks


3 ● もっちさん*
●33ポイント

一応リクエストを頂いていたので。もし Mode Collapse であれば、WGAN の他にも個人的には Bayesian GAN を読んでみるのも面白いと思います。
https://github.com/andrewgordonwilson/bayesgan

関連質問

●質問をもっと探す●



0.人力検索はてなトップ
8.このページを友達に紹介
9.このページの先頭へ
対応機種一覧
お問い合わせ
ヘルプ/お知らせ
ログイン
無料ユーザー登録
はてなトップ