-
@ThothChildren
- 2018.10.21
- PV 187
Super Slomo
ー 概要 ー
Super SlomoはNVidiaによって発表されたスローモーションを実現するために作成されたフレーム間補間を行う技術.Convolutional Neural Network(CNN, Unet)を主に用いている.
この章を学ぶ前に必要な知識
条件
- 複数枚のフレームが含まれる動画
効果
- 特定のフレーム間を自由な枚数補間することができる
- スローモーションの動画を作成できる(60fps→240fps等)
ポイント
- 境界はやはり不安定.それを修正するネットワークを用意
- 可視化マップを導入してより高精度化
- End2EndなCNNで実現(Unetなど活用)
- 時間に依存したパラメータを持たないため補間枚数は自由
- ネットワークの途中でOptical Flowを推定
解 説
Super SlomoはNVidiaによって発表されたスローモーションを実現するために作成されたフレーム間補間を行うNetwork.
End to EndなCNNによって実現することができ、何枚補間するかや時間に依存したパラメータを持ち合わせないため、理論上二枚間を好きな枚数補間することができます.60fpsから240fpsなら一つの画像ペアにつき3枚の補間が必要になります.
ここでは簡単にポイントのみを紹介.詳しくはリンクしている知識参照.
ポイント
・複数のCNN(UNet等)を用いて実現
・ネットワークの途中でOpticalFlowを推定
・OpticalFlowの境界での不安定さを修正するネットワークを用意
・物体が見える見えなくなるに弱いので可視化マップ(Visibity Map)を導入 | Super Slomoについて |
Super Slomoに関する簡単な技術紹介はリンク「複数枚を補間して動画をスローにしたい」で行なっていますので参照ください. | 複数枚を補間して動画をスローにしたい |
NVidiaによる技術紹介ページをリンクしておきます.
CVPRにて発表された技術になります. | 外部リンク Nvidiaのブログより紹介記事 |
NvidiaのSuperSlomoのデモ動画 |
この章を学んで新たに学べる
Comments
Reasons
知識: 複数枚を補間して動画をスローにしたい
動画から取り出した連続する２枚のフレーム画像の間を補間する方法についてまとめています.ここではNVidiaが提案したEnd to EndなCNNによるSuper Slomoについて紹介します.