画像の画風を他の画風に変更したい

在る画像を他の画像の画風を参考に変換する技術について紹介します. 幾らか方法はありますが、ここでは初めに出された最もベーシックな方法について紹介します.

詳細は右の論文のリンクを参考にしてください. ここではこの概略のみについて紹介します.

他の画像の画風で画像を変えることを画風変換(Image Style Transfer)と呼びます. 技術のベースはDeepLearningからきています. 入力画像と画風参考画像を用意して入力画像に画風を適用した画像を作り出すのが基本の処理になります.

入力画像と画風参考画像の他に画像の特徴を良く捕らえて例えばクラス分類できるようなConvolutional Neural Networkのネットワークが必要です.

上記のConvolutional Neural Networkの出力では、入力の特徴を良く捕らえた抽象的な情報を出力しています.このネットワークの中で入力画像側から処理が行われていく過程で無駄な情報を捨てられて、本当に大切な特徴だけが最後の出力に出てきているのです. この無駄な情報になっている部分を他の値にこっそり置き換えることで、画像の最も本質的な部分を変更せずに見た感じだけを変えることができるというのが大筋の流れです. つまり、例えば猫の絵があるときに猫が写っていることはわかるけどなんか油絵っぽいとか写真っぽいとかいった情報を置き換えてしまいましょうということです.

画風変換の処理の流れについて簡単に説明します。 まずはポイントだけ列挙するので簡単に把握してください. ポイント ・ネットワークの更新は一切しない ・元画像(画風を変換したい画像)の全体的な本質と参考画像(画風を参考にしたい画像)の画風を参考にした画像を生成します。 ・ネットワークの入力画像の値をランダムから調整してどちらにも似たような画像になるように入力画像を変更していきます. ・どちらにも十分に似てきたら入力画像の更新を終えて変換を終了します.

画像変換の処理を上の画像に基づいて概説する. 1. 参考画像と元画像を一度Convolutional Neural Networkに通して、 　参考画像はその中間画像から作った画風の表現を取り出し、 　元画像からは最後のネットワークの出力を取り出して両方とも保持します. 2.そしたら画像の中央の「個の画像を調整していく」の調整を開始する. 　初めはランダムな値が入っている画像を取り出して、Convolutional Neural Networkに流す. すると画風の表現と最後の出力が得られるので、それらが1.で取得した参考画像の画風の表現と元画像の最後の出力とどれだけ違うかを計算します. 　そしたらそれを近づけるために入力画像を調整します. 3. どちらにもほどほど近づいてそれ以上更新できなくなるまで2.を繰り返します. 以上が処理の全体の流れです.実際は誤差関数を定義して、それが最小になるように入力画像の更新をしていくことになります.