PANDA: 포즈 정렬 네트워크를 이용한 깊은 속성 모델링

우리는 다양한 시점, 자세, 외모, 관절 구조 및 가림 현상이 있는 사람들의 이미지에서 인간 속성(성별, 헤어스타일, 의상 스타일, 표정, 행동 등)을 추론하는 방법을 제안합니다. 컨벌루션 신경망(CNN)은 대규모 객체 인식 문제에서 매우 우수한 성능을 보이는 것으로 알려져 있습니다. 그러나 속성 분류의 맥락에서는 신호가 미묘하며 이미지의 작은 부분만을 차지할 수 있으며, 이미지는 주로 자세와 시점의 영향으로 지배됩니다. 자세 변동성을 고려하기 위해서는 현재 사용할 수 없는 매우 큰 규모의 라벨링된 데이터셋에 대한 학습이 필요합니다. 포즈렛(Poselets)과 DPM(Detection of Deformable Parts Model)과 같은 부품 기반 모델은 이 문제에서 좋은 성능을 보였지만, 얕은 저레벨 특징에 제한되어 있습니다. 우리는 포즈 정규화된 CNNs를 학습하여 부품 기반 모델과 딥러닝을 결합하는 새로운 방법을 제안합니다. 실험 결과, 제약 조건이 없는 환경에서 어려운 속성 분류 작업에서 기존 최신 방법보다 크게 개선되었음을 확인하였습니다. 또한 실험을 통해 우리의 방법이 이 문제에서 가장 우수한 부품 기반 모델과 전체 바운딩 박스를 사용하여 학습된 일반적인 CNNs보다 더 우수함을 입증하였습니다.