다중 객체 추적 및 분할을 위한 프로토타입 크로스 어텐션 네트워크

다중 객체 추적 및 분할은 주어진 클래스 집합에 속하는 객체를 감지, 추적, 그리고 분할하는 것을 필요로 합니다. 대부분의 접근 방식은 연관성 문제를 해결하기 위해 시간 차원만을 활용하며, 분할 마스크 자체는 단일 프레임 예측에 의존합니다. 우리는 이러한 한계를 극복하기 위해 풍부한 시공간 정보를 온라인 다중 객체 추적 및 분할에 활용할 수 있는 프로토타입 크로스-어텐션 네트워크(PCAN)를 제안합니다. PCAN은 먼저 시공간 메모리를 프로토타입 집합으로 요약하고, 그 다음에는 크로스-어텐션을 사용하여 과거 프레임에서 풍부한 정보를 검색합니다. 각 객체를 분할하기 위해 PCAN은 대조적인 전경과 배경 프로토타입 집합을 학습하는 프로토타입 외형 모듈을 채택하며, 이 프로토타입들은 시간적으로 전파됩니다. 광범위한 실험 결과가 보여주듯이, PCAN은 Youtube-VIS와 BDD100K 데이터셋에서 현재 비디오 인스턴스 추적 및 분할 경쟁 우승자들을 능가하며, 단일 단계와 두 단계 분할 프레임워크 모두에서 효과성을 입증하였습니다. 코드와 비디오 자료는 http://vis.xyz/pub/pcan 에서 확인 가능합니다.