활동 주도적 약한 감독 하의 객체 검출

약한 감독 하의 객체 검출은 검출 모델을 학습하기 위해 필요한 감독의 양을 줄이는 것을 목표로 합니다. 이러한 모델은 전통적으로 객체 클래스만 레이블링된 이미지/동영상에서 학습되며, 객체의 경계 상자는 제공되지 않습니다. 본 연구에서는 객체 클래스 레이블뿐만 아니라 데이터와 관련된 행동 레이블도 활용하려고 시도하였습니다. 우리는 이미지/동영상에 묘사된 행동이 관련 객체의 위치에 대한 강력한 힌트를 제공할 수 있음을 보였습니다. 예를 들어 "공을 차는" 행동에서 "공"은 "사람의 다리" 가까이에 위치하는 경향이 있다는 공간적 사전 지식(스페이셜 프라이어)을 학습하고, 이를 이용하여 객체 검출과 행동 분류 모델을 동시에 학습하였습니다. 우리는 비디오 데이터셋과 이미지 데이터셋 모두에서 실험을 수행하여 약한 감독 하의 객체 검출 모델의 성능을 평가하였습니다. 우리의 접근 방식은 Charades 비디오 데이터셋에서 현재 최신 기술(SOTA) 방법보다 mAP(median Average Precision)에서 6% 이상 우수한 결과를 보였습니다.