ClevrTex: Eine texturreiche Benchmark für die unüberwachte Mehrgegenstandisegmentierung

In letzter Zeit hat es einen Anstieg von Methoden gegeben, die sich darauf konzentrieren, Szenen in mehrere Objekte zu zerlegen und zu segmentieren, ohne überwachtes Lernen zu verwenden, also unsupervised multi-object segmentation (UMOS). Die Durchführung einer solchen Aufgabe ist ein langjähriges Ziel der Computer Vision, da sie es ermöglicht, objektorientiertes Denken zu entfalten, ohne dichte Annotationen zur Ausbildung von Segmentierungsmodellen zu benötigen. Trotz erheblicher Fortschritte werden aktuelle Modelle jedoch weiterhin auf visuell einfachen Szenen entwickelt und trainiert, die einfarbige Objekte vor einfacher Hintergrundgebung zeigen. Die natürliche Welt ist jedoch visuell komplex und enthält verwirrende Aspekte wie vielfältige Texturen und komplizierte Beleuchtungseffekte. In dieser Studie stellen wir eine neue Benchmark genannt ClevrTex vor, die als nächste Herausforderung gedacht ist, um Algorithmen zu vergleichen, auszuwerten und zu analysieren. ClevrTex präsentiert synthetische Szenen mit verschiedenen Formen, Texturen und fotografiert abgebildeten Materialien, die unter Verwendung physikalisch basierter Rendering-Techniken erstellt wurden. Es beinhaltet 50.000 Beispiele, die 3 bis 10 Objekte auf einem Hintergrund darstellen, wobei ein Katalog von 60 Materialien verwendet wurde. Des Weiteren enthält es einen Testdatensatz mit 10.000 Bildern, die unter Verwendung von 25 verschiedenen Materialien erstellt wurden. Wir evaluieren eine große Reihe neuerer UMOS-Modelle auf ClevrTex und stellen fest, dass alle state-of-the-art Ansätze versagen, gute Repräsentationen im texturierten Umfeld zu lernen, trotz beeindruckender Leistungen bei einfacheren Daten. Zudem erstellen wir Varianten des ClevrTex-Datensatzes, in denen verschiedene Aspekte der Szenenkomplexität kontrolliert werden, um individuelle Schwächen der aktuellen Ansätze zu untersuchen. Der Datensatz und der Code sind unter https://www.robots.ox.ac.uk/~vgg/research/clevrtex verfügbar.