장기 시각적 동역학 학습을 위한 영역 제안 상호작용 네트워크

장기적 동역학 모델 학습은 물리적 일반지식을 이해하는 데 핵심적인 과제이다. 기존의 시각 입력에서 동역학을 학습하는 대부분의 방법들은 단기 모델을 활용해 빠른 재계획(re-planning)을 통해 장기 예측을 회피한다. 그러나 이는 모델의 정확도가 극도로 높아야 하며, 에이전트가 작업 완료 시점까지 매 단계마다 지속적으로 피드백을 받고 행동할 수 있는 환경에서만 적용 가능하다는 한계를 가진다. 본 논문에서는 시각 인식 과제에서 성공한 사례들을 활용하여, 장거리에 걸쳐 개체 간 상호작용과 개체-환경 상호작용을 포착할 수 있는 개체 표현을 구축하고자 한다. 이를 위해 우리는 잠재적 영역 제안 특징 공간에서 각 개체의 궤적을 추론하는 영역 제안 상호작용 네트워크(Region Proposal Interaction Networks, RPIN)를 제안한다. 간단하면서도 효과적인 개체 표현 덕분에, 본 방법은 예측 정확도와 하류 작업 계획 능력 측면에서 기존 방법들을 크게 능가하며, 새로운 환경에 대해서도 우수한 일반화 성능을 보인다. 코드, 사전 학습된 모델, 추가 시각화 결과는 https://haozhi.io/RPIN 에서 확인할 수 있다.