HyperAIHyperAI

Command Palette

Search for a command to run...

高品質な顔貌写真−スケッチ合成のためのマルチ敵対ネットワーク

Wang Lidan Sindagi Vishwanath A. Patel Vishal M.

概要

実写画像から顔のスケッチを生成する作業およびその逆問題(スケッチから実写画像の生成)は、多くの応用が期待される。しかし、実写画像とスケッチは本質的に異なる特徴を持つため、画像/スケッチ間の相互生成は依然として困難な課題である。本研究では、このタスクを画像間変換問題として捉え、近年注目を集めている生成モデル(GAN)を活用し、スケッチから高品質で現実的な実写画像を生成するだけでなく、実写画像からスケッチを生成する手法を検討した。最近のGANベースの手法は、画像間変換問題、特に実写画像からスケッチへの変換において有望な結果を示しているが、高解像度のリアルな画像を生成する能力に限界があることが知られている。こうした課題に対応するため、本研究では「マルチ敵対ネットワークを用いた実写-スケッチ生成フレームワーク(PS2-MAN)」と呼ばれる新しい合成フレームワークを提案する。本フレームワークは、敵対的学習の枠組みで低解像度から高解像度の画像を段階的に生成する仕組みを採用している。生成器の隠れ層は、まず低解像度の画像を生成するように監視し、その後、ネットワーク内部での暗黙的な精緻化により高解像度の画像を生成する。さらに、実写画像とスケッチ間の変換はペア化された対応関係を持つため、CycleGANの枠組みを活用してペア情報を利用した学習を実現した。提案手法の有効性を検証するため、画像品質評価(IQA)および実写画像とスケッチのマッチング評価を実施し、既存の最先端手法と比較して優れた性能を示した。コードは以下より公開されている:https://github.com/lidan1/PhotoSketchMAN


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています