要約
近年、バーストスーパーレゾリューション（Burst Super-Resolution）またはマルチフレームスーパーレゾリューション（MFSR）は、特にモバイル写真分野において注目を集めている。現代のハンドヘルドデバイスは、処理能力を継続的に向上させるとともに、より高速に複数の画像をキャプチャする能力を備えており、堅牢なMFSRアルゴリズムの開発がますます現実のものとなってきている。さらに、広く研究が進んでいる単一画像スーパーレゾリューション（SISR）とは異なり、バーストスーパーレゾリューションは複数のずれたフレームから得られる情報を統合することで、低解像度画像から高解像度画像を再構成するという不適切な定式化（ill-posed）の問題を緩和する。本研究では、この困難な課題に対処するための新規かつ効果的な深層学習アプローチ、SBFBurstを提案する。本ネットワークは複数のノイズを含むRAW画像を入力とし、ノイズ除去された高解像度RGB画像を出力する。我々は、特徴マップの連結やスキップ接続といった操作を通じて、ベースフレームをガイドとするメカニズムを導入することで、本問題において顕著な性能向上が達成できることを示した。また、マザイクド畳み込み（mosaicked convolution）を用いることの重要性を強調し、その効果によりアライメント性能が向上し、全体的なスーパーレゾリューション性能が改善されることを明らかにした。これらの比較的単純な改良により、他の最先端手法と比較しても本手法の競争力が示された。