HyperAIHyperAI

Command Palette

Search for a command to run...

シーングラフからの画像生成

Justin Johnson Agrim Gupta Li Fei-Fei

概要

私たちのモデルが視覚的世界を真に理解するためには、画像を認識するだけでなく、生成することもできるべきです。この目的のために、自然言語の説明から画像を生成する技術において最近興味深い進展が見られています。これらの手法は、鳥や花などの限定的なドメインでは驚くべき結果を示していますが、多くの物体と関係性を持つ複雑な文章を忠実に再現することは困難です。この制約を克服するために、シーングラフから画像を生成する方法を提案します。これにより、物体とその関係性について明示的に推論することが可能になります。当モデルは、入力グラフの処理にグラフ畳み込みを使用し、物体のバウンディングボックスとセグメンテーションマスクを予測することでシーンレイアウトを計算し、カスケードリファインメントネットワークによってレイアウトを画像に変換します。ネットワークは対抗的な学習により訓練され、2つの識別器に対してリアルな出力を確保します。我々はVisual GenomeおよびCOCO-Stuffデータセットで当アプローチの有効性を検証しました。定性的評価、アブレーション研究(ablation studies)、ユーザースタディにより、当手法が複数の物体を持つ複雑な画像を生成できる能力が示されています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています