SketchyCOCO: 自由なシーンスケッチからの画像生成

シーンレベルのフリーハンドスケッチから自動的に画像を生成する最初の手法を紹介します。当モデルは、フリーハンドスケッチを通じて合成目標を指定することで、制御可能な画像生成を可能にします。主な貢献は、エッジ生成対抗ネットワーク（EdgeGAN）と呼ばれる属性ベクトルを橋渡しするジェネレーティブアドバーサリアルネットワークで、フリーハンドスケッチを使用せずに高品質な視覚的なオブジェクトレベルの画像コンテンツを生成することをサポートしています。また、当手法の評価と支援のために大規模な複合データセットであるSketchyCOCOを作成しました。SketchyCOCO上でオブジェクトレベルおよびシーンレベルの画像生成タスクにおいて当手法の有効性を検証しています。定量的評価、定性的結果、ヒューマン評価およびアブラーションスタディを通じて、当手法が様々なフリーハンドスケッチから現実的な複雑なシーンレベルの画像を生成する能力を示しています。