HR-Pro: 계층적 신뢰도 전파를 통한 포인트 감독 시계열 행동 탐지

포인트 지도(Temporal Action Localization, PSTAL)는 레이블 효율적인 학습을 위한 새로운 연구 방향으로 부상하고 있다. 그러나 기존의 방법들은 주로 스크립트 단위 또는 인스턴스 단위에서 네트워크를 최적화하는 데 집중하며, 두 단위에서 포인트 레이블이 내재적으로 가지는 신뢰성에 대한 고려를 소홀히 하고 있다. 본 논문에서는 이러한 문제를 해결하기 위해 계층적 신뢰성 전파(Hierarchical Reliability Propagation, HR-Pro) 프레임워크를 제안한다. 이 프레임워크는 두 가지 신뢰성 인식(staged) 학습 단계로 구성되며, 각 단계는 포인트 레이블 내의 고신뢰도 신호를 효율적으로 전파하는 것을 목표로 한다. 첫 번째 단계인 스크립트 수준의 구분 학습에서는 각 클래스별 신뢰할 수 있는 스크립트 프로토타입을 저장하는 온라인 업데이트 메모리(online-updated memory)를 도입한다. 이후 신뢰성 인식 주의 블록(Reliability-aware Attention Block)을 활용하여 스크립트 간의 내부 영상 및 외부 영상 간 의존성을 효과적으로 모델링함으로써, 보다 구분력 있고 강건한 스크립트 표현을 얻는다. 두 번째 단계인 인스턴스 수준의 완전성 학습에서는 스크립트와 인스턴스를 연결하는 포인트 기반 제안 생성 방식을 제안한다. 이는 고신뢰도의 제안(proposal)을 생성하여 인스턴스 수준에서의 후속 최적화를 가능하게 한다. 다중 수준의 신뢰성 인식 학습을 통해, 예측된 제안의 보다 신뢰할 수 있는 신뢰도 점수와 정확한 시계열 경계를 확보할 수 있다. 제안하는 HR-Pro는 THUMOS14를 포함한 여러 도전적인 벤치마크에서 최신 기준(SOTA) 성능을 달성하며, 특히 THUMOS14에서 60.3%의 높은 평균 mAP를 기록하였다. 주목할 점은 HR-Pro가 이전의 모든 포인트 지도 방법을 크게 능가할 뿐만 아니라, 일부 경쟁적인 완전 지도(fully supervised) 방법들보다도 뛰어난 성능을 보였다는 것이다. 코드는 https://github.com/pipixin321/HR-Pro 에서 공개될 예정이다.