SESAME：オブジェクトの追加、操作、削除によるシーンの意味論的編集

画像生成分野の最近の進展により、意味的画像編集に向けた強力なツールが登場した。しかし、従来の手法は単一の画像に対してのみ処理可能であるか、あるいは追加情報の大量を必要とするという限界があり、意味的概念の「追加」「操作」「削除」という編集操作の完全なセットを扱うことはできない。こうした課題を解決するために、本研究では、物体の追加・操作・削除を通じてシーンの意味的編集を実現する新しい生成器・識別器のペア「SESAME（Semantic Editing of Scenes by Adding, Manipulating or Erasing objects）」を提案する。本アーキテクチャでは、ユーザーが編集対象領域の意味的ラベルを入力し、生成器が対応する画素を合成する。従来の手法が意味情報と画像を単純に連結した入力を用いる識別器を採用しているのに対し、SESAMEの識別器は画像と意味情報を独立して処理する二つの入力ストリームから構成されており、後者の意味情報を用いて前者の画像処理結果を操作する仕組みとなっている。我々は多様なデータセット上でモデルを評価し、二つのタスクにおいて最先端の性能を達成した：(a) 画像の操作、(b) 意味的ラベルに基づく画像生成。