2달 전

단일 이미지에서 3D 인간-물체 공간 배치 인식하기

Zhang, Jason Y. ; Pepose, Sam ; Joo, Hanbyul ; Ramanan, Deva ; Malik, Jitendra ; Kanazawa, Angjoo
단일 이미지에서 3D 인간-물체 공간 배치 인식하기
초록

우리는 제어되지 않은 환경에서 단일 이미지로 촬영된 사람과 물체의 공간 배치와 형태를 전역적으로 일관된 3D 장면으로 추론하는 방법을 제시합니다. 특히, 우리의 방법은 어떠한 장면 수준이나 물체 수준의 3D 감독 없이도 데이터셋에서 실행됩니다. 우리의 핵심 통찰력은 사람과 물체를 함께 고려하면 "3D 상식" 제약 조건이 생겨나며, 이는 모호성을 해결하는 데 사용될 수 있다는 것입니다. 구체적으로, 우리는 데이터로부터 물체 크기 분포를 학습하는 스케일 손실(scale loss); 물체 자세를 최적화하기 위한 가림 인식 실루엣 재투영 손실(occlusion-aware silhouette re-projection loss); 그리고 인간-물체 상호작용 손실(human-object interaction loss)을 도입하여 인간이 상호작용하는 물체의 공간 배치를 포착합니다. 우리는 경험적으로 우리의 제약 조건이 가능한 3D 공간 구성의 범위를 크게 줄임을 확인하였습니다. 또한, 사람이 큰 물체(예: 자전거, 오토바이, 서핑보드)와 소형 물체(예: 노트북, 테니스 라켓, 스케이트보드)와 상호작용하는 어려운 자연 환경 이미지에서 우리의 접근 방식을 시연하였습니다. 우리는 우리의 접근 방식이 사람-물체 배치를 복원하는 능력을 정량화하고, 이 영역에서 남아 있는 과제들을 개략적으로 설명합니다. 프로젝트 웹페이지는 https://jasonyzhang.com/phosa 에서 확인할 수 있습니다.

단일 이미지에서 3D 인간-물체 공간 배치 인식하기 | 최신 연구 논문 | HyperAI초신경