MobilePose: 약한 형태 지도 하에 미지 객체에 대한 실시간 자세 추정

본 논문에서는 RGB 이미지에서 미지의 객체를 탐지하고, 그 객체의 3차원 자세를 추정하는 문제를 다룬다. 우리는 모바일 환경에 적합한 두 가지 경량 네트워크인 MobilePose-Base와 MobilePose-Shape을 제안한다. 첫 번째는 자세에 대한 감독 정보만 존재할 때 사용되며, 두 번째는 형상(Shape)에 대한 감독 정보가 존재할 경우(조금 약한 감독 정보라도 가능) 사용된다. 기존 방법에서 사용된 형상 특징(예: 세그멘테이션 맵, 좌표맵)을 다시 검토하고, 픽셀 단위의 형상 감독이 자세 추정에 언제 그리고 왜 개선 효과를 가져오는지 설명한다. 이를 바탕으로 MobilePose-Shape에 형상 예측을 중간 레이어로 추가하여, 네트워크가 형상 정보로부터 자세를 학습하도록 설계하였다. 제안된 모델은 실제 데이터와 합성 데이터의 혼합 데이터셋으로 훈련되며, 약한 및 노이즈가 포함된 형상 감독 정보를 활용한다. 모델은 매우 경량화되어 현대 스마트폰 기기에서 실시간으로 실행 가능하며(예: Galaxy S20에서 36 FPS), 기존의 단일 스텝(single-shot) 솔루션들과 비교했을 때 훨씬 높은 정확도를 달성하면서도 모델 크기나 파라미터 수 측면에서 크게 작아졌다(모델 크기 또는 파라미터 수 기준 2~3% 수준).