ArtiBoost: 온라인 탐색 및 합성을 통한 3D 관절 손-물체 자세 추정 향상

단일 RGB 이미지에서 관절이 연결된 3D 손-물체 자세를 추정하는 것은 매우 모호하고 어려운 문제로, 다양한 손 자세, 물체 유형 및 카메라 시점을 포함하는 대규모 데이터셋이 필요합니다. 대부분의 실제 세계 데이터셋은 이러한 다양성을 갖추고 있지 않습니다. 반면에, 데이터 합성은 각각의 다양성을 쉽게 보장할 수 있습니다. 그러나, 유효하고 다양한 손-물체 상호작용을 구축하고 방대한 합성 데이터에서 효율적으로 학습하는 것은 여전히 어려운 문제입니다. 이러한 문제들을 해결하기 위해, 우리는 ArtiBoost라는 경량 온라인 데이터 강화 방법을 제안합니다. ArtiBoost는 Composited hand-object Configuration and Viewpoint space (CCV-space)에서 샘플링을 통해 다양한 손-물체 자세와 카메라 시점을 포괄하며, 손실 피드백과 샘플 재가중을 통해 현재 구분이 어려운 항목들을 적응적으로 풍부하게 합니다. ArtiBoost는 학습 파이프라인 내에서 데이터 탐색과 합성을 번갈아 수행하며, 이 합성 데이터들은 실제 세계 소스 데이터에 혼합되어 훈련에 사용됩니다. 우리는 단순한 학습 베이스라인 네트워크에 ArtiBoost를 적용하여 여러 손-물체 벤치마크에서 성능 향상을 목격했습니다. 우리의 모델과 코드는 https://github.com/lixiny/ArtiBoost에서 확인할 수 있습니다.