GENESIS-V2: 繰り返しの改良を必要としない非順序オブジェクト表現の推論

物体表現の非監督学習における進歩は、非監督的な物体セグメンテーションと解釈可能な物体中心のシーン生成のための多様な手法の開発につながりました。これらの手法は、視覚的な複雑さが限定的なシミュレーションデータセットや実世界データセットに限られています。さらに、物体表現は多くの場合、RNN（再帰型ニューラルネットワーク）を使用して推論されますが、RNNは大規模な画像には適していないか、または反復的な改良によって推論されます。反復的な改良は、画像内の物体に不自然な順序を課すことなく対象物を推論しますが、事前に固定数の物体表現を初期化する必要があります。既存のパラダイムとは異なり、本研究では、確率的スティックブレーキングプロセスを使用して画素の埋め込みを微分可能にクラスタリングする埋め込みベースのアプローチを提案しています。反復的な改良と同様に、このクラスタリング手続きもランダムに順序付けられた物体表現を生成しますが、事前に固定数のクラスターを初期化する必要はありません。これにより、RNNや反復的な改良を使用せずに変動する数の物体表現を推論できる新しいモデルGENESIS-v2を開発しました。我々は、既存の合成データセットだけでなくより複雑な実世界データセットにおいても、非監督的な画像セグメンテーションと物体中心のシーン生成に関して最近の基準モデルと比較してGENESIS-v2が優れた性能を示すことを示しています。