4DSloMo: 高速シーンの非同期キャプチャによる4D再構成

高速動態シーンのマルチビュー映像からの再構成は、高速運動解析や現実的な4D再構成にとって重要です。しかし、多くの4Dキャプチャシステムは30 FPS（フレームレート）未満に制限されており、低FPS入力から直接高速運動を4Dで再構成すると望ましくない結果につながる可能性があります。本研究では、低FPSカメラのみを使用して高速4Dキャプチャシステムを提案します。これは新しいキャプチャと処理モジュールを通じて実現されます。キャプチャ側では、カメラの開始時間をずらすことで効果的なフレームレートを向上させる非同期キャプチャスキームを提案しています。カメラをグループ化し、ベースのフレームレート25 FPSを利用することで、当手法は専用の高速カメラを使用せずに100-200 FPS相当のフレームレートを達成します。処理側では、4Dスパースビュー再構成によって引き起こされるアーティファクトを修正するための新しい生成モデルも提案しています。非同期性により各タイムスタンプでの視点数が減少するため、当モデルはビデオ拡散に基づくアーティファクト修正モデルとして訓練され、欠落した詳細を補完し、時間的一貫性を維持し、全体的な再構成品質を向上させます。具体的には、スパース4D再構成用にビデオ拡散ベースのアーティファクト修正モデルを訓練することを提案しており、これにより欠落した詳細が精緻化され、時間的一貫性が保たれ、全体的な再構成品質が向上します。実験結果は、当手法が同期キャプチャと比較して高速4D再構成において大幅な改善をもたらすことを示しています。