要約
実写の顔写真からスケッチを合成し、その逆プロセスも多くの応用を持つ。しかし、写真とスケッチは異なる特性を持つため、写真/スケッチ合成は依然として難問である。本研究では、このタスクを画像対画像翻訳問題として捉え、最近注目を集めている生成モデル（GANs）を用いて高品質なリアルな写真をスケッチから生成し、また逆にスケッチを写真から生成する方法を探求する。最近のGANベースの手法は、特に画像対画像翻訳問題や写真対スケッチ合成において有望な結果を示しているが、高解像度のリアルな画像生成能力には限界があることが知られている。これに対処するために、我々は「マルチアドバージャリーネットワークを使用した顔写真-スケッチ合成フレームワーク」(PS2-MAN) を提案する。このフレームワークでは、低解像度から高解像度へと反復的に画像を生成するアドバージャリ方式を採用している。ジェネレータの隠れ層はまず低解像度の画像を生成することから監督され、その後ネットワーク内で暗黙的な精製が行われて高解像度の画像が生成される。さらに、顔写真-スケッチ合成はペア翻訳問題であるため、CycleGANフレームワークを利用してペア情報を活用する。当該フレームワークの優れた性能を既存の最先端ソリューションと比較して示すために、画像品質評価 (IQA) および顔写真-スケッチマッチング実験を行った。コードは以下のURLで公開されている: https://github.com/lidan1/PhotoSketchMAN.