DiscoBox: 박스 감독을 통한 약한 지도 인스턴스 분할 및 의미상 대응

우리는 DiscoBox를 소개합니다. 이는 바운딩 박스 감독을 사용하여 인스턴스 분할과 의미적 대응을 공동으로 학습하는 새로운 프레임워크입니다. 구체적으로, 인스턴스 분할과 의미적 대응이 바운딩 박스 감독뿐만 아니라 구조화된 교사에 의해 공동으로 안내되는 자기 앙상블 프레임워크를 제안합니다. 이 교사는 쌍별 잠재력과 이미지 간 잠재력을 통합한 구조화된 에너지 모델로, 박스 내부와 간의 쌍별 픽셀 관계를 모델링합니다. 교사 에너지를 최소화하면 동시에 개선된 객체 마스크와 클래스 내 객체 사이의 밀집한 대응이 생성되며, 이를 의사 라벨로 사용하여 작업 네트워크를 감독하고 밀집 대조 학습을 위한 양성/음성 대응 쌍을 제공합니다. 우리는 두 작업이 서로에게 상호 이익을 주는 공생 관계를 보여줍니다. 우리의 최고 모델은 COCO 인스턴스 분할에서 37.9% AP를 달성하며, 이전의 약간 지도된 방법들을 능가하고 완전히 지도된 방법들과 경쟁력을 갖습니다. 또한 PASCAL VOC12와 PF-PASCAL에서 실시간 추론을 통해 최신 약간 지도된 결과를 얻었습니다.