-
@ThothChildren
- 2018.7.15
- PV 313
pix2pix
ー 概要 ー
pix2pixはUNetとDCGANを組み合わせた汎用的な画像変換を学習することができるネットワーク.昼と夜の変換や航空写真と地図の変換等様々なタスクを行わせることができる.画像から画像の変換(Image to Image Translation)を行っているConditional GANの一種.
この章を学ぶ前に必要な知識
条件
- 画像を入力
- 画像の構造が似ている画像の変換タスクであること
効果
- 画像から画像への汎用的な変換を学習できる
ポイント
- 変換後画像と変換前画像をペアに学習
- Discriminatorは与えられた入力が正しいペアかを判定
- UNetを用いて鮮明な画像を生成
解 説
pix2pixはUNetとDCGANを組み合わせて画像から画像への汎用的な変換を学習できるネットワーク.様々なタスクに適用することができ、線画からの画像生成やカラー化、昼と夜の変換等行っている例が紹介されている.
pix2pixは変換前画像と変換後画像をペアとしてDiscriminatorに入力し、
Discriminatorは本物同士のペアかを判定する.(もっとも基本的なGANはDiscriminatorは本物かどうかを判定)
右に論文へのリンクを貼っておく. | 外部リンク pix2pixの論文 |
 | pix2pixのネットワーク構造
通常のGANと同様にGeneratorとDiscriminatorで構成される.
偽物のペア画像は変換前画像とGeneratorで作成された画像をペアにする.
論文や実装されているものは256x256のサイズで実装されている. |
高精度な画像を生成できるようにするために、目的関数にL1正則項を加えています.しかしこれは低周波成分に対しては聞きますが、高周波成分に対してはうまくいかずボケた画像になってしまいます.
そこでpix2pixのDiscriminatorにおいてはPatchGANを採用しています.
PatchGANは、与えられた画像を小さいサイズに分割してDiscriminatorに与えます.
これによって入力画像が小さくなるため、ネットワークのパラメータを削減することができます.また、小さい領域に注目して判定ができるため狙っていた高周波の成分の改善も見込むことができます. | pix2pixのDiscriminatorの工夫 |
右のリンク先で実際にpix2pixを以下のように試すことができる. | 外部リンク pix2pixを実際に試せるサイト |
 | pix2pixのお試しサイトの例
線画から猫の画像を生成 |
右にpix2pixの実装をリンクしておきます. | 外部リンク pix2pixの実装例 |
この章を学んで新たに学べる
Comments