要約
顔スケッチ合成は過去数年で大きな進歩を遂げています。深層ニューラルネットワークを基にした最近の手法では、顔写真から高品質なスケッチを生成することが可能となっています。しかし、訓練データ（写真とスケッチのペア）の不足により、これらの深層学習ベースの手法は実世界の顔写真に対して成功裏に適用することができません。本論文では、追加の顔写真を訓練に活用することで、実世界の顔写真に対する処理を拡張する半教師あり深層学習アーキテクチャを提案します。教師ありスケッチではなく、入力写真と小さな参照セット内の写真スケッチペアとの間で特徴空間でのパッチマッチングを行います。次に、対応するスケッチ特徴パッチを使用して擬似スケッチ特徴表現を作成し、ネットワークを監督します。提案手法により、小さな参照セットの写真スケッチペアと大規模な地面真理なしの顔写真データセットを使用してネットワークを訓練することができます。実験結果は、公開ベンチマークおよび実世界の顔写真において最先端の性能を達成していることを示しています。コードは以下のURLから入手可能です: https://github.com/chaofengc/Face-Sketch-Wild。注：- 「ground truth」は「地面真理」と訳しましたが、「正解データ」や「教師データ」とも訳すことができます。- 「photo-sketch pairs」は「写真とスケッチのペア」と訳しました。- 「patch matching」は「パッチマッチング」と訳しました。- 「pseudo sketch feature representation」は「擬似スケッチ特徴表現」と訳しました。