バースト画像の復元と強化

現代の携帯端末は、高速連続でバースト画像シーケンスを取得することができます。しかし、個々に取得されたフレームは複数の劣化やカメラの揺れ、被写体の動きにより位置がずれてしまいます。バースト画像復元の目的は、複数のバーストフレーム間で補完的な情報を効果的に組み合わせて高品質な出力を生成することです。この目標に向けて、我々はバーストフレーム間での情報交換に焦点を当てた新しい手法を開発しました。これにより、劣化が除去されつつ実際のシーン詳細が保存および強調されます。我々の中核的なアイデアは、すべての入力バーストフレームから補完的な情報を組み合わせて擬似バースト特徴量を作成し、情報交換を円滑に行うことです。ただし、各バーストフレームが適切に整列されていないと擬似バースト特徴量を成功裏に作成することはできません。したがって、我々の手法では最初に各バーストフレームから前処理された特徴量を抽出し、エッジ強調型バースト整列モジュールを使用してそれらをマッチングします。次に、多尺度コンテクスト情報を利用して擬似バースト特徴量を作成し、豊かにします。最終段階では、擬似バースト特徴量から情報を適応的に集約し、複数段階で解像度を段階的に向上させながら擬似バースト特徴量を統合します。既存の研究では通常、単一ステージでのアップサンプリングを行う遅期融合スキーマが採用されていますが、我々の手法はそれに対して有利であり、バースト超解像化（Burst Super-Resolution）、低光量画像強化（Burst Low-Light Image Enhancement）、およびノイズ除去（Burst Denoising）タスクにおいて最先端の性能を達成しています。本研究におけるソースコードと事前学習済みモデルは \url{https://github.com/akshaydudhane16/BIPNet} で公開されています。