- @ThothChildren
- 2017.9.13
- PV 173
CycleGAN
ー 概要 ー
比較的新しく提案された画像変換を行うGAN.
あるテーマの画像から別のテーマの画像に変換します.(下記は概要です.詳しくは論文を参照してください)
この章を学ぶ前に必要な知識
条件
- あるテーマのグループが二ついる
効果
- あるテーマから別のテーマに画像を変換できる(馬からシマウマ等)
ポイント
- 入力画像と正解画像というペアは必要ない
- あるテーマが共通したグループが二つあるとその間を変換する
- 似ていても学習時に見慣れていない画像には弱い
- 形状の変形を伴い画像変換はあまり得意ではない
解 説
CycleGANはGANを発展させて、二つの画像のテーマ(ドメイン)の間を変換できるようにした技術. | GANとは |
ネットワーク構造、学習する訓練データが特徴的になっています。
ネットワーク構造
下の図にあるような特徴的な形をしています。
作られた画像か本物の画像かを判別するDの学習では、
・本物Aの画像
・本物BをAに変換した画像
・本物AをBに変換した画像をAに変換した画像
が入力となるため、二つのGは上記の二回の変換をしてもDを騙せるように学習しなくてはならなくなります。
学習する訓練データ
一般的な画像変換をする学習では、入力画像と変換した結果としての正解画像を訓練データとします。しかし、CycleGANでは、あるテーマのグループから一つを入力画像として別のテーマのグループに変換できているかを学習させるだけなので、対応画像は用意されていません。 | CycleGANとは |
CycleGANのネットワーク構造 | |
学習データは右側のようにペアになっていないデータで学習をします。
(論文より引用) | |
馬からシマウマへの変換
(https://github.com/junyanz/CycleGANより引用) | |
動画に写っている人を別人にしている例
左が入力画像
右がCycleGANの出力画像 |
この章を学んで新たに学べる
Comments
Reasons
知識: GANとは
近年注目されている画像等を生成するニューラルネットワークを用いた学習手法.二つのニューラルネットワークを使って片方の識別能力をあげる点が特徴.既にGANの改良系が数十種類提案されている.