Occlusion-Aware Instance Segmentation via BiLayer Network Architectures 비록 인식 인스턴스 분할을 위한 이중층 네트워크 구조

고도로 겹쳐진 이미지 객체를 분할하는 것은 일반적으로 실제 객체 윤곽과 가림 경계 사이에 구분이 없기 때문에 어려운 문제입니다. 이전의 인스턴스 분할 방법들과 달리, 우리는 이미지 형성을 두 개의 겹쳐진 층으로 구성된 것으로 모델링하고, 상위 층에서 가리는 객체(가림자)를 감지하고 하위 층에서 부분적으로 가려진 인스턴스(가림 대상)를 추론하는 양층 합성망(Bilayer Convolutional Network, BCNet)을 제안합니다. 양층 구조를 통해 가림 관계를 명시적으로 모델링함으로써, 가림자와 가림 대상의 경계를 자연스럽게 분리하고 마스크 회귀 과정에서 그들 간의 상호작용을 고려할 수 있습니다.우리는 Fully Convolutional Network (FCN)와 Graph Convolutional Network (GCN)라는 두 가지 유명한 합성곱 네트워크 설계를 사용하여 양층 구조의 효과를 조사하였습니다. 또한, 이미지 내의 인스턴스들을 별도로 학습 가능한 가림자 쿼리와 가림 대상 쿼리로 표현하여 비전 트랜스포머(vision transformer, ViT)를 통해 양층 분리를 공식화하였습니다. 다양한 백본과 네트워크 레이어 선택을 사용한 단일/다단계 및 쿼리 기반 객체 검출기에서 큰 개선이 이루어졌으며, COCO, KINS, COCOA 등의 이미지 인스턴스 분할 벤치마크와 YTVIS, OVIS, BDD100K MOTS 등의 비디오 인스턴스 분할 벤치마크에서 수행된 광범위한 실험 결과가 이를 입증합니다. 특히 중복이 심한 경우에 대한 성능 향상이 두드러집니다.코드와 데이터는 https://github.com/lkeab/BCNet 에서 확인 가능합니다.