D2-Net: 구분 임베딩과 노이즈 제거 활성화를 통한 약한 감독 하의 동작 위치 추정

이 연구는 영상 수준의 레이블을 이용하여 행동의 시계열적 위치를 추정하는 약한 지도 학습 기반의 시계열 행동 탐지 프레임워크인 D2-Net을 제안한다. 본 연구의 주요 기여는 약한 지도 학습에 의해 발생하는 전경-배경 노이즈에 대해 잠재적 임베딩의 구분 능력과 출력 시계열 클래스 활성화의 견고성을 동시에 향상시키는 새로운 손실 함수를 도입한 점이다. 제안된 손실 함수는 시계열 행동 탐지 성능을 향상시키기 위해 구분 능력 강화와 노이즈 제거 기능을 갖춘 두 가지 손실 항목으로 구성된다. 구분 능력 강화 항목은 분류 손실을 포함하며, 상향식 주의 메커니즘을 활용하여 잠재적 전경-배경 임베딩 간의 분리 가능성을 높인다. 노이즈 제거 항목은 하향식 주의 메커니즘을 통해 동일 영상 내 및 서로 다른 영상 간의 상호정보량을 동시에 최대화함으로써 클래스 활성화에서 발생하는 전경-배경 노이즈를 직접적으로 다룬다. 그 결과, 전경 영역의 활성화는 강조되고 배경 영역의 활성화는 억제되며, 이는 더 견고한 예측 성능을 도출한다. 제안된 D2-Net은 THUMOS14 및 ActivityNet1.2를 포함한 다양한 벤치마크에서 종합적인 실험을 수행하였으며, 모든 데이터셋에서 기존의 방법들과 비교해 유리한 성능을 보였다. 특히 THUMOS14에서 IoU=0.5 기준 mAP 측정치에서 최대 2.3%의 성능 향상을 달성하였다. 소스 코드는 https://github.com/naraysa/D2-Net 에 공개되어 있다.