초록
인간 활동과 물체의 사용 가능성(affordances)을 이해하는 것은 특히 인간 환경에서 작동하는 개인 로봇에게 매우 중요한 기술입니다. 본 연구에서는 인간이 수행하는 하위 활동들의 시퀀스에 대한 설명적 라벨링 추출 문제와 더 중요한 점은, 이들 하위 활동과 관련된 물체의 사용 가능성 간의 상호작용 형태의 라벨링 추출 문제를 다루고 있습니다. 주어진 RGB-D 비디오를 통해, 우리는 물체와 하위 활동을 노드로, 물체의 사용 가능성 간의 관계, 이들이 하위 활동과의 관계, 그리고 시간 경과에 따른 변화를 엣지로 표현하는 마르코프 랜덤 필드(Markov random field)에서 인간 활동과 물체의 사용 가능성을 공동으로 모델링합니다. 학습 문제는 구조화된 서포트 벡터 머신(structural support vector machine, SSVM) 접근법을 사용하여 공식화되며, 여기서 다양한 대안적인 시간적 분할에 대한 라벨링은 잠재 변수로 고려됩니다. 우리는 4명의 피실험자로부터 수집한 120개의 활동 비디오로 구성된 어려운 데이터셋에서 우리의 방법을 테스트하였으며, 사용 가능성에 대한 정확도는 79.4%, 하위 활동에 대한 정확도는 63.4%, 고수준 활동 라벨링에 대한 정확도는 75.0%를 얻었습니다. 이후 우리는 이러한 설명적 라벨링이 PR2 로봇이 보조 작업을 수행하는 데 어떻게 활용되는지를 시연하였습니다.