2ヶ月前
Tell, Draw, and Repeat: Generating and Modifying Images Based on Continual Linguistic Instruction を以下のように日本語に翻訳します。 「伝える、描く、繰り返す:継続的な言語指示に基づく画像の生成と変更」
Alaaeldin El-Nouby; Shikhar Sharma; Hannes Schulz; Devon Hjelm; Layla El Asri; Samira Ebrahimi Kahou; Yoshua Bengio; Graham W.Taylor

要約
条件付きテキストから画像生成は、多くの応用可能性を持つ活発な研究分野です。既存の研究では、主に利用可能な条件情報に基づいて一回のステップで単一の画像を生成することに焦点が当てられてきました。一歩進んだ実用的な拡張として、逐次的な言語入力やフィードバックに基づいて画像を反復的に生成するシステムがあります。これは、一ステップ生成タスクよりも著しく困難であり、そのようなシステムは、生成された画像の内容をフィードバック履歴、現在のフィードバック、およびフィードバック履歴に含まれる概念間の相互作用に対して理解しなければならないからです。本研究では、現在までの生成出力と過去のすべての生成指示を考慮に入れた再帰的な画像生成モデルを提案します。我々のモデルが背景を生成し、新しいオブジェクトを追加し、既存のオブジェクトに単純な変換を適用できることが示されています。我々はこのアプローチが対話型生成への重要な一歩であると考えています。コードとデータは以下のURLで入手可能です: https://www.microsoft.com/en-us/research/project/generative-neural-visual-artist-geneva/ 。