2달 전

단일 카메라 비디오를 이용한 3D 다중 인물 자세 추정을 위한 듀얼 네트워크 기반 방법

Cheng, Yu ; Wang, Bo ; Tan, Robby T.
단일 카메라 비디오를 이용한 3D 다중 인물 자세 추정을 위한 듀얼 네트워크 기반 방법
초록

단일 카메라 3D 인간 자세 추정은 최근 몇 년 동안 많은 발전을 이룩하였습니다. 대부분의 방법들은 단일 인물에 초점을 맞추어, 대상 인물의 중심을 기준으로 하는 좌표계(인물 중심 좌표계)에서 자세를 추정합니다. 따라서 이러한 방법들은 절대 좌표계(예: 카메라 좌표계)가 필요한 다중 인물 3D 자세 추정에는 적용할 수 없습니다. 또한, 다중 인물 자세 추정은 사람 간 가림 현상과 밀접한 인간 상호 작용 때문에 단일 인물 자세 추정보다 더 어려운 문제입니다. 기존의 위로부터 아래로 접근하는 다중 인물 방법들은 사람 검출에 의존하기 때문에(즉, 위로부터 아래로 접근), 검출 오류로 인해 다중 인물 장면에서 신뢰성 있는 자세 추정을 생성하지 못하는 한계가 있습니다. 한편, 사람 검출을 사용하지 않는 기존의 아래로부터 위로 접근하는 방법들은 검출 오류의 영향을 받지 않지만, 모든 사람들을 장면에서 동시에 처리하기 때문에 특히 작은 규모의 사람들에 대해 오류가 발생하기 쉽습니다.이러한 도전 과제들을 해결하기 위해, 우리는 위로부터 아래로와 아래로부터 위로 접근 방식의 강점을 활용하여 두 방식을 통합하는 방법을 제안합니다. 우리의 위로부터 아래로 네트워크는 이미지 패치 내에서 한 명이 아닌 모든 사람들의 관절을 추정하여, 가능한 잘못된 경계 상자에 대해 견고하게 대처할 수 있습니다. 우리의 아래로부터 위로 네트워크는 사람이 검출된 정규화된 히트맵을 통합하여, 규모 변동성을 처리하는 데 더욱 견고해집니다. 마지막으로, 위로부터 아래로와 아래로부터 위로 네트워크에서 추정된 3D 자세는 최종적인 3D 자세를 생성하기 위해 우리의 통합 네트워크에 입력됩니다.훈련 데이터와 테스트 데이터 사이의 일반적인 차이점을 해결하기 위해, 테스트 시간 동안 최적화를 수행하여 고차 시각적 제약 조건, 재투영 손실(re-projection loss), 그리고 뼈 길이 규제(bone length regularizations)를 사용하여 추정된 3D 인간 자세를 개선합니다. 우리의 평가는 제안된 방법의 효과성을 입증하였습니다. 코드와 모델은 다음과 같이 제공됩니다: https://github.com/3dpose/3D-Multi-Person-Pose.

단일 카메라 비디오를 이용한 3D 다중 인물 자세 추정을 위한 듀얼 네트워크 기반 방법 | 최신 연구 논문 | HyperAI초신경