차단된 보행자 자세 추정을 위한 딥 다중 작업 네트워크

기존 보행자 자세 추정 연구의 대부분은 자동차 영상 데이터셋에서 가려진 부위에 대한 레이블 정보가 제공되지 않기 때문에, 가려진 보행자의 자세를 추정하는 것을 고려하지 않는다. 예를 들어, 자동차 환경에서의 보행자 탐지에 널리 사용되는 CityPersons 데이터셋은 자세 레이블을 제공하지 않지만, 비자동차 영역 데이터셋인 MS-COCO는 인간 자세 추정 레이블을 포함하고 있다. 본 연구에서는 이러한 두 분포(도메인)에 대해 각각 탐지 및 인스턴스 세그멘테이션 작업을 별도로 수행함으로써 보행자 특징을 추출하는 다중 작업 프레임워크를 제안한다. 이후, 두 분포의 보행자 인스턴스로부터 자세 특징을 학습하기 위해 비지도 인스턴스 수준 도메인 적응 방법을 사용하는 인코더를 설계한다. 제안하는 프레임워크는 자세 추정, 보행자 탐지, 인스턴스 세그멘테이션의 성능 모두에서 기존 최고 수준의 결과를 개선하였다.