객체 발견 및 탐지 학습

우리는 새로운 클래스 발견 및 위치 추정(Novel Class Discovery and Localization, NCDL) 문제를 다룹니다. 이 설정에서 우리는 일부 객체 클래스에 대한 감독만 있는 소스 데이터셋을 가정합니다. 다른 클래스의 인스턴스는 인간의 감독 없이 시각적 유사성에 기반하여 자동으로 발견, 분류, 그리고 위치 추정되어야 합니다. 이를 해결하기 위해, 우리는 관심 영역(Region of Interest, RoI)을 위치 추정하는 데 사용되는 영역 제안 네트워크(region proposal network)를 활용한 두 단계 객체 검출 네트워크인 Region-based NCDL (RNCDL)을 제안합니다. 그런 다음, 네트워크를 소스 데이터셋에서 보이는 알려진 클래스 중 하나로 또는 실제 세계에서 자연스럽게 나타나는 빈도를 반영하는 장기 꼬리 분포(long-tail distribution) 제약 조건 하에 새로운 클래스 중 하나로 각 RoI를 분류하도록 학습시킵니다. 이 목표를 중심으로 엔드투엔드 방식으로 검출 네트워크를 학습시키면, 알려진 객체 클래스 어휘집에 포함되지 않은 다양한 클래스들을 포함하여 모든 영역 제안을 분류하도록 학습됩니다. COCO와 LVIS 데이터셋을 사용하여 수행한 실험 결과, 우리의 방법은 전통적인 클러스터링 알고리즘에 의존하는 다단계 파이프라인보다 훨씬 효과적임을 확인할 수 있었습니다. 또한, 우리의 접근법의 일반성을 시연하기 위해 대규모 Visual Genome 데이터셋에 우리의 방법을 적용하였으며, 직접적인 감독 없이 다양한 의미론적 클래스를 성공적으로 검출할 수 있음을 입증하였습니다.