2ヶ月前

限定データを用いた生成事前知識によるスタイライズされた顔のスケッチ抽出

Yun, Kwan ; Seo, Kwanggyoon ; Seo, Chang Wook ; Yoon, Soyeon ; Kim, Seongcheol ; Ji, Soohyun ; Ashtari, Amirsaman ; Noh, Junyong
限定データを用いた生成事前知識によるスタイライズされた顔のスケッチ抽出
要約

顔のスケッチは、人の同一性を簡潔に示す方法であり、芸術的な意図を表現する手段でもあります。最近、異なるスタイルのスケッチを抽出できるいくつかの技術が登場しましたが、これらは通常、取得が困難な大量のデータに依存しています。本稿では、顔画像から高解像度のスタイリッシュなスケッチを抽出する手法であるStyleSketchを提案します。事前学習されたStyleGANからの豊富な意味論的な深層特徴を使用することで、16組の顔と対応するスケッチ画像のペアでスケッチジェネレーターを訓練することが可能となりました。このスケッチジェネレーターは、部分に基づく損失関数と二段階学習を利用しており、訓練時の高速収束により高品質なスケッチ抽出が実現できます。一連の比較を通じて、StyleSketchが既存の最先端のスケッチ抽出手法や少ショット画像適応手法よりも優れていることを示しました。さらに、StyleSketchの多様性を示すために他の領域への拡張利用を行い、意味論的な編集の可能性も探求しました。プロジェクトページは以下のURLでご覧いただけます: https://kwanyun.github.io/stylesketch_project.