프로토타입 기반 모호한 샘플 교정을 위한 마이크로 행동 인식

미세 행동 인식(Micro-Action Recognition, MAR)은 사회적 상호작용에서 비언어적 의사소통의 중요한 형태로 그 역할이 주목받고 있으며, 인간 간 의사소통 및 감정 분석에 대한 응용 가능성이 높아져서 더욱 관심을 받고 있습니다. 그러나 현재의 접근 방식은 종종 미세 행동의 본질적인 모호성을 간과하고 있는데, 이는 범주 범위가 넓고 범주 간 시각적 차이가 미묘하기 때문입니다. 이러한 간과는 미세 행동 인식의 정확도를 저해합니다. 본 논문에서는 이러한 모호성을 해결하고 완화하기 위해 새로운 프로토타입 교정 모호성 네트워크(Prototypical Calibrating Ambiguous Network, PCAN)를 제안합니다. 첫째, 계층적 행동 트리를 사용하여 모호한 샘플을 식별하고, 신체 수준과 행동 수준 범주를 고려하여 거짓 음성(false negatives)과 거짓 양성(false positives)으로 구분된 독립적인 모호한 샘플 집합으로 분류합니다. 둘째, 모호한 대조 정제 모듈을 구현하여 프로토타입과 모호한 샘플 사이의 거리를 조절함으로써 이러한 모호한 샘플을 교정합니다. 이 교정 과정은 거짓 음성(FN) 샘플을 해당 프로토타입에 더 가깝게 만들고, 거짓 양성(FP) 샘플을 해당 프로토타입으로부터 멀리 떨어뜨리는 것을 목표로 합니다. 또한, 서로 다른 프로토타입 간의 차이를 확대하여 모델의 성능을 강화하는 새로운 프로토타입 다양성 증폭 손실(prototypical diversity amplification loss)을 제안합니다. 마지막으로, 프로토타입 기반 수정(prototype-guided rectification) 방법을 제안하여 예측 결과를 개선하는데, 이는 프로토타입의 표현력을 통합하는 것입니다. 기준 데이터셋에서 수행된 광범위한 실험은 우리 방법론이 기존 접근 방식보다 우수한 성능을 보임을 입증하였습니다. 코드는 https://github.com/kunli-cs/PCAN 에서 제공됩니다.