要約
撮影プロセスに適用されるシャッターストラテジーは、撮影された画像の品質に大きな影響を及ぼします。不適切なシャッター設定は、画像のブレ、ビデオの非連続性、またはローリングシャッターアーティファクトなどの問題を引き起こす可能性があります。既存の研究では、これらの各問題に対して独立した解決策が提案されています。本研究では、これらの問題を統一的なフレームワークでより柔軟に対処するため、後処理で撮影された画像を再露光することを目指しています。具体的には、ニューラルネットワークに基づく画像再露光フレームワークを提案します。このフレームワークは、視覚潜在空間の構築を行うエンコーダー、望ましいシャッターストラテジーに従って情報をニューラルフィルムに集約する再露光モジュール、およびニューラルフィルムを望ましい画像に「現像」するデコーダーから構成されています。情報の混乱や欠落フレームを補正するために、ほぼ連続的な輝度変化を捉えることができるイベントストリームが視覚潜在コンテンツの計算に活用されます。再露光モジュールでは、自己注意層とクロス注意層が両方使用され、ニューラルフィルムと視覚潜在コンテンツとの相互作用およびニューラルフィルムへの情報集約が促進されます。提案された統一的な画像再露光フレームワークは、複数のシャッター関連の画像復元タスクにおいて評価され、独立した最先端手法に対して有利な結果を示しました。