Generative Adversarial Network学習において

Generatorが、入力Iが何であるかに関係なく同じ出力Oを返すようになるのですが、 これは学習の設定上何か問題があるからでしょうか? しかし、Generatorが必ず同じ出力を返す事は、GAN学習の根本的アイデアには必ずしも反してはいない現象で、禁止されていない事だと思うのですが、同様の現象を確認した人は他に居るのでしょうか?

もちろん、Discriminatorが働いているので、Oは各ステップごとに変わります。
また、Oそれ自体も、学習データ中に含まれ得る値にはなってはいると見えます。

Oが局所に収束してしまうという事が問題なのですが、GAN学習ではそれが起こり得る事なのでしょうか?起こり得るとした場合、どのようにして回避しているでしょうか?

回答の条件
  • URL必須
  • 1人1回まで
  • 登録:2017/12/07 15:03:30
  • 終了:2017/12/31 15:03:30

回答(3件)

id:vaaaaaanquish No.1

vaaaaaanquish回答回数0ベストアンサー獲得回数02017/12/07 16:09:25

おそらく仰っている現象は「Mode Collapse」と呼ばれるものだと思います。
Generatorが入力データ分布の一部の最頻値を学習してしまい、そこから抜け出せなくなる現象です。主にはDiscriminatorがFixした時点の分布を学習してしまう事によって発生します。

回避手法は様々あります。
DiscriminatorをFixさせずに学習するWGAN、Auto-Encoderを応用したVAEなどについて調べると良いと思います。

以下リポジトリにはGANの手法が詰まっているのでオススメします。
http://musyoku.github.io/2017/01/29/Unrolled-Generative-Adversarial-Networks/

id:TAK_TAK

DiscriminatorはFixしていません。にも関わらず、この現象が起きています。

2017/12/07 18:19:19
id:ksknw No.2

ksknw回答回数0ベストアンサー獲得回数02017/12/07 20:13:09

素人なので適当です.
すでに回答されていますが,Mode Collapseというよくある現象だと思います.
"DiscriminatorをFix"というのはそういう局所解にハマってしまうという意味で,人間がFixするという話ではないと思います.
回避する方法としてこれも既に挙げられていますが,Wasserstein計量を使うWGANとか色々研究があります.
ただ,GANの研究をするのでなければ,画像増やしたり,ハイパーパラメータ調整を頑張ったりするのが手っ取り早い印象です(よく知りません適当です).

mode collapseしている例
http://yusuke-ujitoko.hatenablog.com/entry/2017/09/26/225018

WGANの解説スライド
https://www.slideshare.net/DeepLearningJP2016/dlwasserstein-gantowards-principled-methods-for-training-generative-adversarial-networks

id:mocchitam No.3

もっちさん*回答回数0ベストアンサー獲得回数02017/12/08 13:36:28

一応リクエストを頂いていたので。もし Mode Collapse であれば、WGAN の他にも個人的には Bayesian GAN を読んでみるのも面白いと思います。
https://github.com/andrewgordonwilson/bayesgan

コメントはまだありません

この質問への反応(ブックマークコメント)

「あの人に答えてほしい」「この質問はあの人が答えられそう」というときに、回答リクエストを送ってみてましょう。

これ以上回答リクエストを送信することはできません。制限について

絞り込み :
はてなココの「ともだち」を表示します。
回答リクエストを送信したユーザーはいません