敵対的オープンドメイン適応によるスケッチから写真の合成

本論文では、オープンドメインのスケッチから写真への変換について探求します。この手法は、クラスラベル付きの自由描画スケッチから現実的な写真を合成することを目指しており、そのクラスのスケッチが訓練データに欠けている場合でも適用可能です。しかし、自由描画スケッチと写真ドメイン間の大きな幾何学的歪みや訓練監督の不足により、この課題は難易度が高いです。欠落しているクラスのスケッチを写真から合成するために、私たちはスケッチから写真へ、そして写真からスケッチへの生成を同時に学習するフレームワークを提案します。ただし、偽のスケッチから訓練されたジェネレータは、合成されたスケッチと実際のスケッチとのドメインギャップにより、欠落しているクラスのスケッチに対して満足のいく結果を得られない可能性があります。この問題を緩和するために、私たちは単純ながら効果的なオープンドメインサンプリングおよび最適化戦略をさらに提案し、「ジェネレータを騙して」偽のスケッチを実際のものとして扱うようにします。当方法は、ドメイン内データで学習したスケッチから写真へ、そして写真からスケッチへのマッピングを利用し、それをオープンドメインクラスに一般化します。Scribble および SketchyCOCO データセットでの検証により、当方法が最近の競合手法と比較して優れた結果を示すことが確認されました。特に、様々なカテゴリのオープンドメインスケッチにおいて現実的な色調や質感を合成し、幾何学的構成を維持する点で顕著な成果が得られています。コードは以下のURLで公開されています: https://github.com/Mukosame/AODA