중요한 것을 기억하기: 인간 운동 예측을 위한 인자화된 다중 헤드 검색 및 보조 메모리 안정화 방식

인간은 수행하는 작업, 상호작용의 유형, 개인의 선호에 따라 다양한 복잡한 운동을 보이며, 이로 인해 과거 운동 기록을 바탕으로 미래의 자세를 예측하는 것은 매우 도전적인 과제이다. 본 논문은 역사적 지식을 보다 효과적으로 모델링하기 위해 보조 메모리 기반의 혁신적인 딥 신경망 프레임워크를 제안한다. 구체적으로, 관측된 자세 시계열에서 개인별, 작업별, 기타 보조 정보를 분리하여 각각의 요소를 분해된 특징으로 표현하고, 이를 통해 보조 메모리에 접근한다. 새로운 다중 헤드 지식 검색 기법은 이러한 분해된 특징 임베딩을 활용하여 보조 메모리 내에 저장된 과거 관측 데이터에 대해 다중 쿼리 연산을 수행한다. 또한 제안하는 동적 마스킹 전략은 이러한 특징 분리 과정을 동적으로 조절함으로써 더 유연하고 적응적인 모델링을 가능하게 한다. 본 연구는 보조 메모리 내의 다양성을 유도하면서도 메모리 내용의 안정성을 보장하는 두 가지 새로운 손실 함수를 도입하여, 데이터 불균형이나 입력 데이터 분포의 다양성에 관계없이 장기적인 미래 운동 예측에 유용한 주목할 만한 정보를 효과적으로 탐색하고 저장할 수 있도록 한다. 인간 3.6M과 CMU-Mocap이라는 두 가지 공개 벤치마크에서 실시한 광범위한 실험을 통해, 제안된 설계 선택들이 종합적으로 현재 최고 수준의 기법들을 상당한 격차로 초월함을 입증하였다. 특히 인간 3.6M 데이터셋에서는 17% 이상, CMU-Mocap 데이터셋에서는 9% 이상의 성능 향상을 달성하였다.