ハーモナイザー：ホワイトボックス画像およびビデオのハーモナイゼーションを学ぶ

最近の画像調和に関する研究では、大規模なオートエンコーダを用いて画素単位の画像変換タスクとして問題を解決しています。しかし、高解像度の画像を処理する際には、性能が満足いくものではなく、推論速度も遅いという課題があります。本研究では、基本的な画像フィルターの入力引数（例：明るさとコントラスト）を調整することで、人間が合成された画像から現実的な画像を作り出すことが十分であることを観察しました。したがって、画像調和を人間がタスクに使用するフィルターの引数を学習する画像レベルの回帰問題として定式化しました。ここでは、画像調和用のハーモナイザーフレームワークを提案します。従来の方法がブラックボックス型オートエンコーダに基づいているのに対し、ハーモナイザーはフィルター引数予測用のニューラルネットワークと、予測された引数に基づくいくつかのホワイトボックス型フィルター（白箱フィルター）で構成されています。さらに、カスケード回帰器と動的損失戦略を導入し、ハーモナイザーがより安定かつ正確にフィルター引数を学習できるようにしました。当社のネットワークは画像レベルの引数のみを出力し、使用しているフィルターも効率的であるため、ハーモナイザーは既存の手法よりも軽量で高速です。包括的な実験により、特に高解像度入力においてハーモナイザーが既存手法を著しく上回ることが示されました。最後に、ハーモナイザーをビデオ調和に適用し、フレーム間で一貫性のある結果を得ることができることと1080P解像度で56 fpsでの処理能力を持つことが確認されました。コードとモデルは以下のURLから入手可能です: https://github.com/ZHKKKe/Harmonizer.