초록
이 논문에서는 3차원 장면과 과거 인간의 움직임을 기반으로 미래의 인간 자세를 예측하는 '장면 인지형 3차원 인간 운동 예측' 문제에 도전한다. 이 작업의 핵심 과제는 인간과 장면 간의 일관성을 보장하면서 인간-장면 상호작용을 적절히 반영하는 것이다. 기존의 접근 방식들은 이러한 상호작용을 암묵적으로 모델링하기 때문에, 국부적 자세와 전반적 운동 사이에 명시적인 제약이 부족해 '유령 운동(ghost motion)'과 같은 아티팩트를 유발하는 경향이 있다. 본 연구에서는 이를 보완하기 위해 인간-장면 접촉 관계를 명시적으로 모델링하는 새로운 접근을 제안한다. 이를 위해, 각 시간 단계에서 각 관절과 3차원 장면의 모든 점 간의 접촉 관계를 포착하는 거리 기반 접촉 맵(distance-based contact maps)을 도입한다. 이후, 과거 접촉 맵과 장면 점군(point cloud)을 입력으로 받아 미래 접촉 맵을 먼저 예측한 후, 예측된 접촉 맵을 조건으로 하여 미래 인간 자세를 예측하는 이단계(두 단계) 파이프라인을 개발한다. 학습 과정에서는 접촉 맵과 미래 자세를 기반으로 정의된 사전 지식(prior)을 활용하여 전반적 운동과 국부적 자세 간의 일관성을 명시적으로 유도한다. 제안한 방법은 합성 데이터셋과 실측 데이터셋 모두에서 최신 기술에 비해 우수한 성능을 보였다. 코드는 https://github.com/wei-mao-2019/ContAwareMotionPred 에서 공개되어 있다.