19일 전

비디오로부터 객체 지속성 학습하기

Aviv Shamsian, Ofri Kleinfeld, Amir Globerson, Gal Chechik
비디오로부터 객체 지속성 학습하기
초록

물체 지속성(Object Permanence)은 직접 인지하지 못하는 상황에서도 물체가 여전히 존재한다는 사실을 이해함으로써, 보이지 않는 물체의 위치에 대해 추론할 수 있게 해준다. 자연적인 시각 장면에서 물체들은 동적으로 서로를 가리거나 포함하기 때문에, 세계에 대한 모델을 구축하는 데 있어 물체 지속성은 필수적이다. 발달 심리학 분야의 심층적 연구들은 물체 지속성을 형성하는 것이 경험을 통해 광범위하게 습득해야 하는 어려운 과제임을 시사한다. 본 연구에서는 데이터 기반으로 물체 지속성을 학습하는 설정을 제안한다. 이 학습 문제를 네 가지 구성 요소로 분해해야 하는 이유를 설명하며, 각각은 물체가 (1) 시각적으로 노출된 상태, (2) 가려진 상태, (3) 다른 물체에 포함된 상태, 그리고 (4) 포함된 물체에 의해 운반되는 상태를 의미한다. 특히 네 번째 하위 과제인, 대상 물체가 포함된 물체에 의해 운반되는 경우는, 보이지 않는 물체의 움직이는 위치에 대해 추론해야 하므로 매우 도전적인 과제이다. 이후 우리는 이러한 네 가지 시나리오 하에서 물체의 위치를 예측할 수 있도록 학습하는 통합적인 딥 아키텍처를 제안한다. 우리는 이 아키텍처와 시스템을 CATER 기반의 새로운 데이터셋을 활용하여 평가하였으며, 기존의 위치 추정 방법 및 다양한 베이스라인보다 우수한 성능을 확인하였다.