Pose2Seg: 검출이 필요 없는 사람 인스턴스 세그멘테이션

이미지 인스턴스 분할의 표준 접근 방식은 객체 검출을 먼저 수행한 후, 검출된 경계 상자(bounding-box)에서 객체를 분할하는 것입니다. 최근에는 Mask R-CNN과 같은 딥러닝 방법들이 이를 동시에 수행합니다. 그러나 "사람" 카테고리의 독특함을 고려하는 연구는 거의 이루어지지 않았습니다. 이 카테고리는 포즈 스켈레톤으로 잘 정의될 수 있습니다. 또한, 사람의 포즈 스켈레톤은 경계 상자를 사용하는 것보다 중복(occlusion)이 심한 인스턴스를 더 잘 구분할 수 있습니다. 본 논문에서는 사람의 포즈를 기반으로 인스턴스를 분할하는 새로운 포즈 기반 인스턴스 분할 프레임워크를 제시합니다. 이 프레임워크는 제안 영역 검출(proposal region detection) 대신 사람의 포즈를 기반으로 인스턴스를 구분합니다. 실험 결과, 제안된 포즈 기반 프레임워크는 사람 인스턴스 분할 문제에서 최신 검출 기반 접근 방식보다 더 높은 정확도를 달성하며, 특히 중복을 더 잘 처리할 수 있음을 보여주었습니다.또한, 많은 중복이 있는 사람들을 포함하고 종합적인 주석(annotation)을 제공하는 공개 데이터셋이 거의 없습니다. 이로 인해 이러한 문제는 연구자들에 의해 거의 주목받지 못했습니다. 따라서 본 논문에서는 중복이 있는 사람들과 종합적인 주석(경계 상자, 사람 포즈, 인스턴스 마스크 포함)을 중심으로 하는 새로운 벤치마크 "중복된 사람(OCHuman)"을 소개합니다. 이 데이터셋은 4731장의 이미지 내에 8110개의 상세 주석이 된 사람 인스턴스를 포함하고 있으며, 각 사람이 평균 0.67의 최대 IoU(MaxIoU) 값을 가집니다. OCHuman은 사람 인스턴스 분할과 관련된 가장 복잡하고 도전적인 데이터셋입니다. 이 데이터셋을 통해 우리는 연구자들이 중복 문제를 연구해야 할 중요한 과제로 강조하려 합니다.