ClevrTex: 監督のない多物体セグメンテーションのためのテクスチャ豊富なベンチマーク

最近、無教師マルチオブジェクトセグメンテーションを目的とした手法が増加しています。これは、物体レベルの推論を実現するために稠密なアノテーションを必要とせずにセグメンテーションモデルを訓練するという、コンピュータビジョンの長年の目標です。しかし、現在のモデルは視覚的に単純なシーン、つまり単色の物体が単調な背景に配置されたシーンで開発および訓練されています。一方、自然界は多様な質感や複雑な照明効果などの混乱要素を含む視覚的に複雑な環境です。本研究では、アルゴリズムの比較、評価、分析の次の課題として設計された新しいベンチマーク「ClevrTex」を提案します。ClevrTexは、物理ベースレンダリング技術を使用して生成された多様な形状、質感、写真マッピング素材を持つ合成シーンを特徴としています。このデータセットには、60種類の素材カタログを使用して背景に3〜10個の物体が配置された5万例が含まれています。さらに、25種類の異なる素材を使用して生成された1万枚の画像からなるテストセットも含まれています。私たちはClevrTex上で最新の無教師マルチオブジェクトセグメンテーションモデルの大規模なセットをベンチマークし、これらの最先端アプローチが単純なデータでは優れた性能を示すものの、質感のある設定では良い表現を学習できないことを確認しました。また、シーンの複雑さに関する異なる側面を制御したClevrTexデータセットのバリエーションを作成し、現在のアプローチにおける個々の欠点を探りました。データセットとコードはhttps://www.robots.ox.ac.uk/~vgg/research/clevrtex で利用可能です。