자기 지도 학습 변환기에서 약한 지도 객체 위치 추정을 위한 제안의 차별적 샘플링

드론은 시각 인식 응용 분야에서 점점 더 많이 사용되고 있습니다. 최근 셀 타워 검사 분야에서는 드론 기반 자산 감시가 발전하고 있으며, 이는 관심 대상 물체를 연속적인 공중 이미지에서 위치 추정하여 드론의 자율 비행을 안내하는 방식입니다. 본 논문에서는 이미지 클래스 라벨만을 사용하여 고신뢰도로 물체를 위치 추정할 수 있는 깊은 약간 지도된 객체 위치 추정(Weakly-Supervised Object Localization, WSOL) 모델을 훈련시키는 방법을 제안합니다. 우리의 위치 추정기를 훈련시키기 위해, 자기 지도 학습 비전 트랜스포머(Self-Supervised Vision Transformers, SSTs)로부터 의사 라벨(pseudo labels)을 효율적으로 수집합니다. 그러나 SSTs는 장면을 다양한 물체 부분을 포함하는 여러 개의 맵으로 분해하며, 명시적인 감독 신호에 의존하지 않기 때문에 관심 대상 물체와 다른 물체를 구분할 수 없어 WSOL에 필요한 요구사항을 충족시키지 못합니다. 이 문제를 해결하기 위해, 서로 다른 트랜스포머 헤드가 생성한 여러 개의 맵에서 의사 라벨을 획득하기 위한 방법을 제안합니다. 특히, CNN 분류기를 활용하여 차별화된 영역을 식별하는 새로운 차별화된 제안 샘플링(Discriminative Proposals Sampling, DiPS) 방법이 소개됩니다. 그런 다음 이러한 영역에서 전경 및 배경 픽셀이 샘플링되어 특정 클래스에 속하는 물체를 정확히 위치 추정할 수 있는 활성화 맵을 생성하기 위한 WSOL 모델을 훈련시킵니다. 도전적인 TelDrone 데이터셋에서의 경험적 결과는 우리가 제안한 접근법이 생성된 맵의 임계값 범위에서 최신 기술보다 우수한 성능을 보일 수 있음을 나타냅니다. 또한 CUB 데이터셋에서도 결과를 계산하여 우리의 방법이 다른 작업에도 적용될 수 있음을 보여주었습니다.