초록
깊은 신경망을 사용한 인간 자세 추정은 다양한 입력 이미지를 여러 신체 관절점으로 매핑하는 것을 목표로 하며, 이는 인간 몸체 모델에 의해 부과된 일련의 기하학적 제약 조건과 상호 의존성을 충족해야 합니다. 이는 매우 높은 차원의 특성 공간에서 매우 어려운 비선형 다양체 학습 과정입니다. 우리는 본질적으로 대수 계산 시스템인 깊은 신경망이 고도로 복잡한 인간 지식, 예를 들어 인간 자세의 관절점 간 강하게 결합된 기하학적 특성과 상호 의존성을 포착하는 가장 효율적인 방법이 아니라고 믿습니다. 본 연구에서는 외부 지식을 효과적으로 표현하고, 이를 깊은 신경망에 주입하여 적절한 사전 정보를 부여하는 학습된 투영을 통해 그 훈련 과정을 안내하는 방법을 탐구합니다. 구체적으로, 스택드 아워글래스 설계와 인셉션-레즈넷 모듈을 사용하여 명시적인 그래픽 모델링 없이 인간 자세 이미지를 히트맵으로 회귀시키는 프랙탈 네트워크를 구성합니다. 우리는 외부 지식을 인간 몸체 모델의 제약 조건을 특징화할 수 있는 시각적 특성으로 인코딩하고 중간 네트워크 출력의 적합성을 평가합니다. 그런 다음 보조 비용 함수를 사용하여 학습된 투영 행렬을 통해 이러한 외부 특성을 신경망에 주입합니다. 제안된 인셉션-레즈넷 모듈의 효과성과 지식 투영을 통한 유도 학습의 이점은 두 개의 널리 사용되는 벤치마크에서 평가되었습니다. 우리의 접근 방식은 두 데이터셋 모두에서 최고 수준의 성능을 달성하였습니다.