시간 가중 계층적 클러스터링을 이용한 비지도 행동 분할

행동 분할은 비디오에서 의미적으로 일관된 시각적 개념의 경계를 추론하는 것을 의미하며, 많은 비디오 이해 작업에 있어 중요한 요구사항입니다. 이러한 비디오 이해 작업을 위해 지도 학습 접근법은 고무적인 성능을 달성하였지만, 상세한 프레임 단위 주석이 대량으로 필요합니다. 우리는 어떤 훈련도 필요하지 않은 비디오 내 행동을 분할하기 위한 완전 자동화되고 비지도적인 접근법을 제시합니다. 우리의 제안은 시간 가중 계층적 클러스터링 알고리즘으로, 비디오의 의미적으로 일관된 프레임들을 그룹화할 수 있습니다. 우리의 주요 발견은 시간 진행을 고려하여 1-가장 가까운 이웃 그래프로 비디오를 표현하면, 각 클러스터가 비디오 내의 어떤 행동을 나타낼 수 있는 의미적이고 시간적으로 일관된 프레임 클러스터를 형성하는 것이 충분하다는 것입니다. 또한, 우리는 행동 분할에 대한 강력한 비지도 기준선을 설정하고, 다섯 개의 도전적인 행동 분할 데이터셋에서 기존의 비지도 방법들보다 유의미한 성능 향상을 보였습니다. 우리의 코드는 다음 링크에서 확인 가능합니다: https://github.com/ssarfraz/FINCH-Clustering/tree/master/TW-FINCH