그래프 임베딩을 활용한 포즈 클러스터링을 통한 이상 탐지

우리는 인간 행동의 이상 탐지를 위한 새로운 방법을 제안한다. 본 방법은 입력 영상 시퀀스로부터 계산할 수 있는 인간 자세 그래프에 직접 작동한다. 이로 인해 시점이나 조도와 같은 불필요한 파라미터에 영향을 받지 않는 분석이 가능해진다. 우리는 이러한 그래프를 잠재 공간에 매핑하고 군집화한다. 각 행동은 각 군집에 대한 소프트 할당(soft-assignment)을 통해 표현된다. 이는 모든 행동이 기저 행동 단어들(기본 행동 패턴) 그룹과의 유사성에 의해 표현되는 일종의 ‘단어의 가방(Bag of Words)’ 표현 방식을 제공한다. 이후 우리는 소프트 할당 벡터와 같은 비율 데이터를 다루는 데 유용한 디리클레 과정 기반 혼합 모델을 활용하여, 특정 행동이 정상인지 비정상인지 판단한다.제안한 방법은 두 가지 유형의 데이터셋에서 평가되었다. 첫 번째는 세밀한 이상 탐지 데이터셋(예: ShanghaiTech)으로, 특정 행동의 비정상적인 변형을 탐지하는 것을 목표로 한다. 두 번째는 거시적인 이상 탐지 데이터셋(예: Kinetics 기반 데이터셋)으로, 정상 행동이 극히 소수이며, 나머지 모든 행동은 비정상으로 간주해야 하는 경우를 대상으로 한다.기준 데이터셋에 대한 광범위한 실험 결과, 제안하는 방법이 기존 최첨단 기법들에 비해 훨씬 우수한 성능을 보였다.