要約
深層ニューラルネットワークは、多くの視覚タスクにおいて驚異的な性能を達成しているが、現存の学習ベースの手法は極端な低照度環境におけるセンサノイズモデル化において、物理モデルに基づく手法に比べて著しく劣っている。学習ベースのセンサノイズモデル化の潜在能力を引き出すために、本研究では典型的な画像生成プロセスにおけるノイズ発生メカニズムを詳細に分析し、物理モデルを指針とするISO依存性を考慮した新しいセンサノイズモデル化手法を提案する。具体的には、CMOSカメラセンサの複雑なノイズ特性を表現するため、正規化フロー（normalizing flow）に基づくフレームワークを構築した。このモデルの各構成要素は、物理モデルの指針に基づき、特定の種類のノイズに特化して設計されている。さらに、既存の学習ベース手法では十分に考慮されていないISO依存性をモデルに組み込むことで、より現実的なノイズ表現を実現した。提案手法の学習には、広範なISO設定をカバーする平坦化フレーム（flat-field）およびバイアスフレームを併用した、ノイズあり・ノイズなしのペア画像から構成される新しいデータセットを収集した。既存手法と比較して、本提案モデルは柔軟な構造と高いモデル化精度を有しており、極端な低照度環境下におけるノイズ除去性能の向上に寄与する。本研究のソースコードおよび収集したデータセットは、公開予定である。