Demo2Vec: 온라인 영상에서 추론하는 객체 기능성

전문가의 시범 수행을 관찰하는 것은 인간과 로봇이 생소한 물체의 가능성을 이해하는 데 중요한 방법이다. 본 논문에서는 시범 영상의 특징 임베딩을 통해 물체의 가능성을 추론하는 문제를 다룬다. 우리는 동일한 물체의 대상 이미지에서 상호작용 영역과 동작 레이블을 예측할 수 있도록 시범 영상의 임베딩 벡터를 추출하는 Demo2Vec 모델을 설계하였다. 또한 다양한 YouTube 제품 리뷰 영상을 수집하고 라벨링하여 ‘가능성에 대한 온라인 리뷰 데이터셋(Online Product Review dataset for Affordance, OPRA)’을 제안하였다. 제안한 Demo2Vec 모델은 수집된 데이터셋에서 다양한 순환 신경망 기반 베이스라인 모델들을 상회하는 성능을 보였다.