ClevrTex: 비지도 다중 객체 분할을 위한 텍스처가 풍부한 벤치마크

최근 비지도 다중 객체 분할(unsupervised multi-object segmentation)을 목표로 하는 방법들이 급증하고 있습니다. 이러한 작업은 컴퓨터 비전의 오랜 목표로, 객체 수준의 추론을 수행하기 위해 분할 모델을 훈련시키는 데 밀도 높은 주석이 필요하지 않도록 하는 것을 제공합니다. 그러나 현대의 모델들은 단색 객체가 평범한 배경 위에 나타난 시각적으로 단순한 장면에서 개발되고 훈련되었습니다. 자연 세계는 다양한 질감과 복잡한 조명 효과와 같은 혼동 요소를 포함하여 시각적으로 복잡합니다. 본 연구에서는 알고리즘을 비교, 평가 및 분석하기 위한 다음 도전 과제인 새로운 벤치마크인 ClevrTex를 제시합니다. ClevrTex는 물리 기반 렌더링 기술을 사용하여 생성된 다양한 형태, 질감, 사진 매핑 소재를 가진 합성 장면을 특징으로 합니다. 이 데이터셋은 배경 위에 3-10개의 객체가 배열된 5만 개의 예제를 포함하며, 60종의 소재 카탈로그를 사용하여 생성되었습니다. 또한 25종의 다른 소재를 사용하여 생성된 1만 개의 이미지를 포함하는 추가 테스트 세트도 제공됩니다. 우리는 ClevrTex에서 최근의 비지도 다중 객체 분할 모델들의 대규모 집합을 벤치마킹하였으며, 단순한 데이터에서 인상적인 성능을 보이는 것에도 불구하고 모든 최신 접근 방식이 질감이 있는 환경에서 좋은 표현을 학습하지 못함을 발견했습니다. 또한 우리는 장면 복잡성의 다양한 측면을 제어하는 ClevrTex 데이터셋의 변형들을 생성하여 현재 접근 방식들의 개별적인 한계점을 탐구하였습니다. 데이터셋과 코드는 https://www.robots.ox.ac.uk/~vgg/research/clevrtex 에서 이용 가능합니다.