高解像度画像のコラボラティブな二重変換を用いた調和化

複合画像に対して、画像ハーモナイゼーションは前景を背景と整合性を持たせるように調整することを目的とする。高解像度画像のハーモナイゼーションは高い需要があるが、依然として十分に研究されていない。従来の画像ハーモナイゼーション手法は、グローバルなRGBからRGBへの変換を学習するが、これは高解像度に容易にスケーラブルである一方で、局所的なコンテキストの多様性を無視する。近年の深層学習手法は、密なピクセル対ピクセルの変換を学習することで、整合性の高い出力を生成できるが、低解像度に強く制限されている。本研究では、エンドツーエンドのネットワーク内でピクセル対ピクセル変換とRGB対RGB変換を協調的に統合する、コラボラティブ・デュアル変換（CDTNet）を用いた高解像度画像ハーモナイゼーションネットワークを提案する。本CDDNetは、ピクセル対ピクセル変換用の低解像度ジェネレータ、RGB対RGB変換用のカラーマッピングモジュール、および両者の利点を活かすためのリファインメントモジュールから構成される。高解像度ベンチマークデータセットおよび当研究者が作成した高解像度実際の複合画像データセットを用いた広範な実験により、本CDDNetが効率性と効果性の間で良好なバランスを達成していることが示された。使用したデータセットは、https://github.com/bcmi/CDTNet-High-Resolution-Image-Harmonization にて公開されている。