3C-Net: 약한 지도 하에서의 행동 위치 추정을 위한 범주 개수 및 중심 손실

시점 행동 정위는 수많은 실제 응용 분야를 가진 도전적인 컴퓨터 비전 문제입니다. 대부분의 기존 방법들은 행동 정위 모델을 훈련시키기 위해 고된 프레임 단위 감독이 필요합니다. 본 연구에서는 비디오 단위 감독(약한 감독) 형태로 행동 카테고리 라벨과 해당 개수만을 요구하는 3C-Net이라는 프레임워크를 제안합니다. 우리는 차별화된 행동 특성을 학습하고 정위 능력을 강화하기 위한 새로운 공식을 소개합니다. 우리의 병합 공식은 세 가지 항목으로 구성됩니다: 학습된 행동 특성의 구분성을 보장하기 위한 분류 항, 행동 특성의 차별화를 강화하기 위한 적응형 다중 라벨 중심 손실 항, 그리고 인접한 행동 시퀀스를 구분하여 정위를 개선하기 위한 카운팅 손실 항입니다. THUMOS14와 ActivityNet 1.2라는 두 가지 도전적인 벤치마크에서 포괄적인 실험을 수행했습니다. 우리의 접근 방식은 두 데이터셋 모두에서 약한 감독 하에 시점 행동 정위에 있어 새로운 최신 기술(SOTA)을 설정하였습니다. THUMOS14 데이터셋에서 제안된 방법은 최신 기술 대비 평균 정밀도(mAP) 측면에서 절대적으로 4.6%의 성능 향상을 달성하였습니다. 소스 코드는 https://github.com/naraysa/3c-net 에서 제공됩니다.