機械学習による自動クリッピング

概要

近年はSNSでの画像の使用が多くなり、サイズの問題上それの画像の一部のみ見せる必要があることが多い.そこで各画像の自動的なクリッピングが必要となってきている.ここではTwitterにおいてそれを機械学習で行なっている例を紹介する.
Facebookシェア Twitterツイート LINEで送る このエントリーをはてなブックマークに追加
この章を学ぶ前に必要な知識
0
条件
  • 画像の一部のみが注目領域になりうる画像が入力で
効果
  • 画像の注目部位を自動抽出して自動的に適切なサイズでクリッピング
ポイント
  • Twitter社で採用している機械学習による自動リッピングについて紹介

解 説

近年はSNSでの画像の使用が多くなり、サイズの問題上その画像の一部のみ見せる必要があることが多い.写真には注目したい箇所があるのでその周辺に絞るような各画像の自動的なクリッピングが必要となってきている. ここではTwitterにおいてそれを機械学習で行なっている例を紹介する.
機械学習による自動クリッピングとは
参考としたTwitter Blogはリンクを参照.
以前は顔認識ベースの自動クリッピングを行なっており、 顔を見つけてその周辺を含むように切り出しを行なっていた. しかし、精度が適切ではなく顔のないところに顔があると判定されたり、 風景や物体のみではうまく行かないなどが難点であった. そこでDeepLearningでサリエンシマップの推定を行えるようにして、 精度高く人間が注目するであろう領域(高いコントラストのある領域等)を求めることができた.
Twitter社のBlogより 背景概要
既に発表されているDeepGaze2と言われるサリエンシマップの推定を行えるVGG-19ベースのネットワークを試したところ、 速度面が商品としてネックになることがわかった. そこでネットワークの蒸留(深い学習の結果を浅いネットワークに学習し直させる)と枝狩り(pruning)を行うことで本来の10倍の速さで注目領域を推定することができるようになった. 枝狩り(pruning)が行えたのは、注目領域は別に画素レベルで知りたいのではなく大体の領域を知れればよいという背景があったからである.
Twitter社における機械学習による自動クリッピングの技術概要
元論文へのリンクを貼っておく
論文より引用. 高速化におけるネットワークの変化を表している. はじめはdistillation(蒸留)によってある程度短いネットワークにして、 その上で枝狩り(pruning)を行なっている.
この章を学んで新たに学べる
Comments

Reasons
>>隠す