세그먼털 시공간 CNN을 이용한 세부적인 행동 분할

미세 행동의 공동 분할 및 분류는 인간-로봇 상호작용, 비디오 감시, 그리고 인간 기술 평가 등의 응용 분야에서 중요합니다. 그러나 최근 대규모 행동 분류에서 많은 발전이 이루어졌음에도 불구하고, 최신 미세 행동 인식 접근법의 성능은 여전히 낮습니다. 우리는 저레벨 시공간 특징과 고레벨 세그먼탈 분류기를 결합하는 행동 분할 모델을 제안합니다. 우리의 시공간 CNN은 객체와 그 관계에 대한 정보를 포착하기 위해 합성곱 필터를 사용하는 공간 구성요소와, 객체 관계가 시간에 따라 어떻게 변화하는지에 대한 정보를 포착하기 위해 큰 1D 합성곱 필터를 사용하는 시간 구성요소로 구성됩니다. 이러한 특징들은 하나의 행동에서 다른 행동으로의 전환을 모델링하는 반 마르코프 모델과 함께 사용됩니다. 우리는 이 모델을 위한 효율적인 제약 조건 하의 세그먼탈 추론 알고리즘을 소개하며, 이 알고리즘은 현재 방법보다 수십 배 빠릅니다. 우리는 요리 및 수술 행동 데이터셋에서 최근 베이스라인 방법들에 비해 크게 향상된 성능을 관찰하였으며, 이를 통해 우리의 세그먼탈 시공간 CNN의 효과성을 강조합니다.