<<展開

Super Slomo

概要

Super SlomoはNVidiaによって発表されたスローモーションを実現するために作成されたフレーム間補間を行う技術.Convolutional Neural Network(CNN, Unet)を主に用いている.
Facebookシェア Twitterツイート LINEで送る このエントリーをはてなブックマークに追加
この章を学ぶ前に必要な知識
0
条件
  • 複数枚のフレームが含まれる動画
効果
  • 特定のフレーム間を自由な枚数補間することができる
  • スローモーションの動画を作成できる(60fps→240fps等)
ポイント
  • 境界はやはり不安定.それを修正するネットワークを用意
  • 可視化マップを導入してより高精度化
  • End2EndなCNNで実現(Unetなど活用)
  • 時間に依存したパラメータを持たないため補間枚数は自由
  • ネットワークの途中でOptical Flowを推定

解 説

Super SlomoはNVidiaによって発表されたスローモーションを実現するために作成されたフレーム間補間を行うNetwork. End to EndなCNNによって実現することができ、何枚補間するかや時間に依存したパラメータを持ち合わせないため、理論上二枚間を好きな枚数補間することができます.60fpsから240fpsなら一つの画像ペアにつき3枚の補間が必要になります. ここでは簡単にポイントのみを紹介.詳しくはリンクしている知識参照. ポイント ・複数のCNN(UNet等)を用いて実現 ・ネットワークの途中でOpticalFlowを推定 ・OpticalFlowの境界での不安定さを修正するネットワークを用意 ・物体が見える見えなくなるに弱いので可視化マップ(Visibity Map)を導入
Super Slomoについて
Super Slomoに関する簡単な技術紹介はリンク「複数枚を補間して動画をスローにしたい」で行なっていますので参照ください.
複数枚を補間して動画をスローにしたい
NVidiaによる技術紹介ページをリンクしておきます. CVPRにて発表された技術になります.
この章を学んで新たに学べる
Comments

Reasons
>>隠す

知識: 複数枚を補間して動画をスローにしたい
動画から取り出した連続する2枚のフレーム画像の間を補間する方法についてまとめています.ここではNVidiaが提案したEnd to EndなCNNによるSuper Slomoについて紹介します.