포즈를 활용한 다중 인물 부위 세그멘테이션을 위한 영역 간 보완 학습

픽셀 단위로 라벨링된 지도 딥러닝은 다중 인물 부위 분할에서 큰 성공을 거두었습니다. 그러나 픽셀 수준의 데이터 라벨링은 매우 비용이 많이 드는 작업입니다. 이 문제를 해결하기 위해, 연구자들은 실제 데이터의 라벨링을 피하기 위해 합성 데이터를 사용하는 방법을 탐구해 왔습니다. 합성 데이터의 라벨 생성은 쉽지만, 실제 데이터와 수동 라벨링을 사용한 결과에 비해 성능이 크게 떨어집니다. 성능 저하의 주된 원인은 도메인 간격(domain gap), 즉 실제 데이터와 합성 데이터 간의 픽셀 값 통계 차이 때문입니다.본 논문에서는 실제 사람과 합성 사람이 모두 스켈레톤(포즈) 표현을 가지고 있다는 점을 관찰하였습니다. 우리는 스켈레톤이 훈련 중에 합성 도메인과 실제 도메인 사이를 효과적으로 연결할 수 있음을 발견하였습니다. 제안된 접근 방식은 실제 데이터의 풍부하고 사실적인 변형과 합성 데이터의 쉽게 얻을 수 있는 라벨을 활용하여, 어떤 인간 주석도 없이 실제 이미지에서 다중 인물 부위 분할을 학습합니다. 실험을 통해 본 방법이 파스칼-퍼슨-파트(Pascal-Person-Parts) 및 코코-덴스포즈(COCO-DensePose) 데이터셋에서 인간 주석 없이도 여러 최신 접근 방식들과 유사한 성능을 보임을 입증하였습니다. 또한, 훈련 시 실제 이미지에서도 부위 라벨이 제공되는 경우, 본 방법은 감독된 최신 접근 방식들보다 크게 우수한 성능을 보이는 것을 확인하였습니다.더 나아가, 본 방법의 일반화 능력을 새로운 키포인트 예측에서 검증하였습니다. 여기서는 새로운 키포인트 감지는 위한 실제 데이터 라벨이 전혀 제공되지 않는 상황에서 실시간 이미지에서 새로운 키포인트를 예측하는 능력을 시연하였습니다. 코드와 사전 학습 모델은 https://github.com/kevinlin311tw/CDCL-human-part-segmentation 에서 이용 가능합니다.