객체 발견 및 검색으로서의 보편적 인스턴스 인식

모든 인스턴스 인식 작업은 카테고리 이름, 언어 표현, 대상 주석 등의 일부 쿼리를 통해 지정된 특정 객체를 찾는 것을 목표로 하지만, 이 전체 분야는 여러 독립적인 하위 작업으로 나뉘어져 있습니다. 본 연구에서는 차세대 보편적 인스턴스 인식 모델인 UNINEXT를 제시합니다. UNINEXT는 다양한 인스턴스 인식 작업을 통합된 객체 발견 및 검색 패러다임으로 재구성하여 입력 프롬프트만 변경하면 쉽게 다른 유형의 객체를 인식할 수 있습니다. 이러한 통합 접근법은 다음과 같은 이점을 제공합니다: (1) 서로 다른 작업과 라벨 사전에서 얻은 방대한 데이터를 활용하여 일반적인 인스턴스 수준 표현을 공동 학습할 수 있으며, 특히 훈련 데이터가 부족한 작업에 매우 유익합니다. (2) 통합 모델은 매개변수 효율성이 높아 여러 작업을 동시에 처리할 때 중복 계산을 줄일 수 있습니다. UNINEXT는 전통적인 이미지 수준 작업(객체 감지와 인스턴스 세그멘테이션), 시각-언어 작업(참조 표현 이해와 세그멘테이션), 그리고 여섯 가지 비디오 수준 객체 추적 작업을 포함하는 10개의 인스턴스 수준 작업에서 20개의 도전적인 벤치마크에서 우수한 성능을 보여주었습니다. 코드는 https://github.com/MasterBin-IIAU/UNINEXT에서 확인할 수 있습니다.