Weakly-Supervised Temporal Action Detection for Fine-Grained Videos with Hierarchical Atomic Actions 약한 지도를 이용한 세부 영상에서의 계층적 원자 행동 시계열 탐지

행동 이해는 실제 생활에서 대부분의 인간 행동이 미세한 차이만을 보이는 시대로 발전했습니다. 이러한 미세한 차이를 효과적으로 감지하기 위해, 우리는 비디오에서 라벨 효율적인 방식으로 이러한 미세한 행동을 정확히 탐지하는 문제에 처음으로 접근하였습니다. 이전의 일반적인 행동 탐지를 위한 약간 지도 모델들은 미세한 행동 간의 미묘한 차이를 포착하기 위한 세심한 설계가 부족하여, 미세한 행동 설정에서는 잘 수행되지 않습니다. 우리는 자동으로 데이터에서 자기 지도 클러스터링을 통해 발견된 재사용 가능한 원자적 행동들의 조합으로 행동을 모델링하여, 미세한 행동들의 공통성과 개별성을 포착하고자 합니다. 학습된 원자적 행동들은 시각적 개념으로 표현되며, 의미론적 라벨 계층 구조를 활용하여 더욱 세부적이고 대략적인 행동 라벨로 매핑됩니다. 우리의 접근법은 각 단계에서 감독을 받는 클립 수준, 원자적 행동 수준, 세부적인 행동 클래스 수준 및 대략적인 행동 클래스 수준의 네 가지 수준의 시각적 표현 계층 구조를 구성합니다. FineAction 및 FineGym 두 개의 대규모 미세한 동작 비디오 데이터셋에 대한 광범위한 실험은 우리가 제안한 약간 지도 모델이 미세한 동작 탐지에 유익함을 보여주며, 최신 연구 결과를 달성하였습니다.