HandBooster: 조건부 합성 및 샘플링을 통한 3D 손 메시 재구성 향상

단일 이미지에서 3D 손 메시를 강건하게 재구성하는 것은 기존 실제 데이터셋의 다양성이 부족하기 때문에 매우 어려운 문제입니다. 데이터 합성은 이 문제를 완화하는 데 도움이 되지만, 합성-실제 간의 차이(syn-to-real gap)는 여전히 사용을 방해하고 있습니다. 본 연구에서는 HandBooster라는 새로운 접근법을 제안합니다. 이 방법은 손-물체 상호작용에 대한 조건부 생성 공간을 훈련시키고, 이를 목적적으로 샘플링하여 효과적인 데이터 샘플을 합성함으로써 데이터 다양성을 향상시키고 3D 손 메시 재구성 성능을 강화합니다. 첫째, 다양한 손의 모양, 자세, 시점 및 배경을 가진 실제적인 이미지를 생성하기 위해 확산 모델을 안내하는 다목적 컨텐츠 인식 조건(content-aware conditions)을 구성합니다. 다행히도, 정확한 3D 주석은 무료로 얻을 수 있습니다. 둘째, 유사성 인식 분포 샘플링 전략(similarity-aware distribution sampling strategies)에 기반한 새로운 조건 생성기(condition creator)를 설계하여 훈련 세트와 다른 새로운 그리고 실제적인 상호작용 자세를 의도적으로 찾습니다. 우리의 방법을 적용함으로써 여러 베이스라인 모델은 HO3D 및 DexYCB 벤치마크에서 최신 기술(SOTA)을 크게 개선할 수 있었습니다. 우리의 코드는 https://github.com/hxwork/HandBooster_Pytorch 에 공개될 예정입니다.