HyperAIHyperAI

Command Palette

Search for a command to run...

USIS:非教師付き意味画像合成

George Eskandar Mohamed Abdelsamad Karim Armanious Bin Yang

概要

セマンティック画像合成(Semantic Image Synthesis, SIS)は、セグメンテーションマスクから写実的な画像を生成する画像対画像翻訳の一種である。SISはこれまで主に教師あり学習の枠組みで扱われてきた。しかし、最先端の手法は膨大な量のラベル付きデータに依存しており、ペア化されていない設定(unpaired setting)には適用できない。一方、一般的なペア化されていない画像対画像翻訳フレームワークは、セマンティックレイアウトを色分けして従来の畳み込みネットワークに供給するため、外観の対応関係を学習するのではなく、セマンティック内容そのものではなく、結果として性能が劣る。本研究では、ペア化された設定とペア化されていない設定の間の性能ギャップを埋める第一歩として、教師なしのセマンティック画像合成(Unsupervised Semantic Image Synthesis, USIS)という新たな枠組みを提案する。特に、自己教師付きセグメンテーション損失を用いて、視覚的に分離可能なセマンティッククラスを出力するSPADE生成器を導入している。さらに、高周波成分を失うことなく、実画像の色とテクスチャ分布を正確に再現するため、全体画像に基づくウェーブレット特徴を用いた識別戦略を提案する。本手法は3つの挑戦的なデータセット上で評価され、ペア化されていない設定においても、マルチモーダルかつ写実的な画像を高品質に生成する能力を実証した。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています