DeFMO：高速移動物体のデブラーイングおよび形状回復

高速で移動する物体は、カメラで撮影された際に著しくぼやけて見える。特に物体の形状やテクスチャーが複雑な場合、ぼやけた外観はさらに曖昧になり、従来の手法や人間でもその物体の正確な外観や運動状態を復元することが困難となる。本研究では、ぼやけた物体の単一画像とその推定された背景を入力として、高精度な高速カメラで撮影されたかのように、時間的に高分解能な複数のサブフレームにおける物体の明確な外観と位置を出力する手法を提案する（すなわち、時間的スーパーサンプリング）。提案手法であるDeFMOは、ぼやけた物体の画像を潜在空間表現に埋め込み、背景を分離し、鮮鋭な外観を再構成する生成モデルを採用している。画像形成モデルの知見に着想を得て、新たな自己教師付き損失関数を設計することで、性能の向上と優れた汎化能力を実現した。DeFMOは複雑な合成データセット上で学習されているが、複数の実世界データセットからの実データに対しても良好な性能を発揮する。本手法は最先端の手法を上回り、高品質な時間的スーパーサンプリングフレームを生成することが可能である。