차별적 공동 주요성 및 배경 채굴 변환기 기반 공동 주요 객체 검출

대부분의 이전 공통 주요 객체 검출 연구들은 이미지 간 일관성 관계를 통해 공통 주요도 큐를 추출하는 데 주로 초점을 맞추고 배경 영역에 대한 명시적인 탐색을 무시하였습니다. 본 논문에서는 경제적인 다중 해상도 상관 모듈들을 기반으로 하는 차별적 공통 주요도 및 배경 채굴 트랜스포머(DMT) 프레임워크를 제안합니다. 이 프레임워크는 공통 주요도와 배경 정보를 명시적으로 채굴하고 그들의 차별성을 효과적으로 모델링하기 위해 설계되었습니다.구체적으로, 먼저 이미지 간 관계를 픽셀 단위 분할 특징에 도입하면서 계산 효율성을 유지하기 위한 영역-영역 상관 모듈을 제안합니다. 그런 다음, 두 가지 유형의 사전 정의된 토큰을 사용하여 대조 유발 픽셀-토큰 상관 모듈과 공통 주요도 토큰-토큰 상관 모듈을 통해 공통 주요도와 배경 정보를 채굴합니다. 또한 학습된 토큰의 지침 하에 분할 특징의 차별성을 강화하기 위한 토큰 안내형 특징 개선 모듈을 설계하였습니다. 우리는 분할 특징 추출과 토큰 구축 사이에서 반복적인 상호 증진을 수행합니다.세 가지 벤치마크 데이터셋에서 수행한 실험 결과는 제안된 방법의 유효성을 입증하였습니다. 소스 코드는 다음과 같은 링크에서 확인 가능합니다: https://github.com/dragonlee258079/DMT.