機械学習による自動クリッピング

近年はSNSでの画像の使用が多くなり、サイズの問題上その画像の一部のみ見せる必要があることが多い.写真には注目したい箇所があるのでその周辺に絞るような各画像の自動的なクリッピングが必要となってきている. ここではTwitterにおいてそれを機械学習で行なっている例を紹介する.

参考としたTwitter Blogはリンクを参照.

以前は顔認識ベースの自動クリッピングを行なっており、 顔を見つけてその周辺を含むように切り出しを行なっていた. しかし、精度が適切ではなく顔のないところに顔があると判定されたり、 風景や物体のみではうまく行かないなどが難点であった. そこでDeepLearningでサリエンシマップの推定を行えるようにして、 精度高く人間が注目するであろう領域(高いコントラストのある領域等)を求めることができた.

既に発表されているDeepGaze2と言われるサリエンシマップの推定を行えるVGG-19ベースのネットワークを試したところ、 速度面が商品としてネックになることがわかった. そこでネットワークの蒸留(深い学習の結果を浅いネットワークに学習し直させる)と枝狩り(pruning)を行うことで本来の10倍の速さで注目領域を推定することができるようになった. 枝狩り(pruning)が行えたのは、注目領域は別に画素レベルで知りたいのではなく大体の領域を知れればよいという背景があったからである.

元論文へのリンクを貼っておく