불확실성 인지형 동작 분리 트랜스포머를 통한 동작 예측

인간 행동 예측은 과거 관측을 바탕으로 사람들의 미래 행동을 예측하는 것을 목표로 한다. 본 논문에서는 행동 예측을 위한 불확실성 인식형 행동 분리 트랜스포머(Uncertainty-aware Action Decoupling Transformer, UADT)를 제안한다. 기존의 방법들이 동사-명사 쌍 형식으로 직접 행동을 예측하는 반면, 본 연구는 행동 예측 작업을 동사 예측과 명사 예측으로 분리하여 별도로 처리한다. 이는 두 분리된 작업이 서로 보완하여 최종적으로 행동 예측 성능을 향상시키는 것을 목표로 한다. 구체적으로, 동사 → 명사 모델과 명사 → 동사 모델로 구성된 이중 스트림 기반의 트랜스포머 아키텍처를 제안한다. 동사 → 명사 모델은 동사 정보를 활용하여 명사 예측을 개선하고, 반대로 명사 → 동사 모델은 명사 정보를 활용하여 동사 예측을 향상시킨다. 또한 본 모델을 확률론적 방식으로 확장하여 각 분리된 작업의 예측 불확실성을 정량화하고, 이를 바탕으로 정보량이 높으며 중복이 없는 특징을 선택한다. 이를 통해 명사 예측은 가장 유용하고 중복이 없는 동사 특징을 활용하고, 동사 예측 역시 유사한 방식으로 작동한다. 마지막으로, 각 스트림의 불확실성에 따라 동적으로 두 스트림을 결합하여 공동 행동 예측을 수행한다. 제안한 방법이 EPIC-KITCHENS, EGTEA Gaze+, 50-Salads와 같은 행동 예측 기준 데이터셋에서 최신 기술 수준의 성능을 달성함으로써 그 효과를 입증하였다.