온라인 행동 이해를 위한 기억-예상 변환기

대부분의 기존 예측 시스템은 다양한 기억 메커니즘을 활용하여 인간의 예측 능력을 모방하려는 기억 기반 방법들로, 시간적 의존성을 위한 기억 의존성 모델링에 진전을 이루었습니다. 그럼에도 불구하고 이 패러다임의 명백한 약점은 제한된 역사적 의존성만을 모델링할 수 있으며 과거를 초월할 수 없다는 것입니다. 본 논문에서는 사건 진화의 시간적 의존성을 재고하고, 과거, 현재, 그리고 미래를 포함하는 전체적인 시간 구조를 모델링하기 위한 새로운 기억-예측 기반 패러다임을 제안합니다. 이 아이디어를 바탕으로 온라인 행동 감지 및 예측 작업을 처리하기 위한 기억-예측 기반 접근 방식인 Memory-and-Anticipation Transformer (MAT)를 소개합니다. 또한 MAT의 고유한 우수성 덕분에 온라인 행동 감지와 예측 작업을 통합적으로 처리할 수 있습니다. 제안된 MAT 모델은 온라인 행동 감지 및 예측 작업에서 어려운 벤치마크인 TVSeries, THUMOS'14, HDD, EPIC-Kitchens-100에서 테스트되었으며, 모든 기존 방법보다 크게 우수한 성능을 보였습니다. 코드는 https://github.com/Echo0125/Memory-and-Anticipation-Transformer에서 제공됩니다.