소스 무료 및 이미지만을 이용한 비지도 도메인 적응: 카테고리 수준 객체 자세 추정을 위한 접근

RGB 이미지만을 이용하여 소스 도메인 데이터나 3D 레이블에 접근하지 않고도 타겟 도메인으로의 소스-프리 비지도 카테고리 수준의 자세 추정 문제를 고려한다. 현실 세계의 3D 데이터와 해당 이미지를 수집하고 레이블링하는 과정은 인력과 비용이 많이 들지만, 불가피한 과정이다. 왜냐하면 심지어 3D 자세 도메인 적응 방법조차 타겟 도메인 내 3D 데이터를 필요로 하기 때문이다. 우리는 3D 또는 깊이 데이터 없이 노이즈가 많은 타겟 도메인으로의 적응이 가능한 3DUDA라는 방법을 제안한다. 본 연구의 핵심 통찰은, 특정 객체 하위 부분들이 도메인 외부(OOD) 상황에서도 안정적으로 유지된다는 관찰에서 비롯된다. 이를 바탕으로 이러한 불변적인 하위 구성 요소를 전략적으로 활용하여 효과적인 모델 업데이트를 가능하게 한다. 우리는 객체 카테고리를 간단한 직육면체 메시로 표현하고, 각 메시 정점에서 학습된 미분 렌더링 기반 신경망 특성 활성화의 생성 모델을 활용한다. 본 연구는 개별적으로 국소적으로 안정적인 메시 정점 특징에 집중하며, 전역 자세가 정확하지 않을 경우에도 타겟 도메인 내 대응 특징과의 근접도를 기반으로 반복적으로 이를 업데이트한다. 이후 모델은 EM(기대-최대화) 방식으로 학습되며, 정점 특징과 특징 추출기 간을 번갈아가며 업데이트한다. 본 연구는 제안한 방법이 약한 가정 하에서 전역 가상 레이블 데이터셋에 대한 미세 조정을 시뮬레이션할 수 있음을 보이며, 이는 점차적으로 타겟 도메인으로 수렴함을 입증한다. 복잡한 극한의 비지도 적응(UDA) 설정(실제 노이즈, 합성 노이즈, 가림 현상의 복합 조합)을 포함한 광범위한 실험적 검증을 통해, 본 단순한 접근법이 도메인 전이 문제를 효과적으로 해결하고 자세 추정 정확도를 크게 향상시킬 수 있음을 입증한다.