Out-of-Domain Human Mesh Reconstruction via Dynamic Bilevel Online Adaptation 외부 도메인 인간 메시 재구성 동적 이중 온라인 적응을 통한 방법

우리는 기존의 SMPL 기반 모델이 다른 카메라 파라미터, 뼈 길이, 배경 및 가림 현상 등으로 인한 분포 이동에 크게 영향을 받는 문제를 다루기 위해 새로운 인간 메시 재구성 모델을 외부 도메인 스트리밍 비디오에 적응시키는 문제를 고려합니다. 우리는 이 문제를 온라인 적응을 통해 해결하며, 테스트 중 점진적으로 모델 편향을 수정합니다. 이 과정에서 두 가지 주요 과제가 있습니다: 첫째, 3D 주석 부족은 학습 난이도를 증가시키고 3D 애매함을 초래합니다. 둘째, 비정상적인 데이터 분포는 일반 프레임과 심각한 가림 현상 또는 극적인 변화가 있는 어려운 샘플 간의 균형을 맞추는 것이 어렵게 만듭니다. 이를 해결하기 위해 우리는 동적 이중 최적화 알고리즘(Dynamic Bilevel Online Adaptation algorithm, DynaBOA)을 제안합니다. DynaBOA는 먼저 시간적 제약 조건을 도입하여 사용할 수 없는 3D 주석을 보완하고, 이중 최적화 절차를 활용하여 다중 목적 간의 충돌을 해결합니다. DynaBOA는 분포 이동에도 불구하고 효율적으로 유사한 소스 예제를 검색하여 공동 학습(co-training)으로 추가적인 3D 안내를 제공합니다. 또한 개별 프레임에서 최적화 단계의 수를 적응적으로 조정하여 어려운 샘플에 완전히 맞출 수 있으며 일반 프레임에서는 과적합(overfitting)을 피할 수 있습니다. DynaBOA는 세 가지 외부 도메인 인간 메시 재구성 벤치마크에서 최신 연구 결과(state-of-the-art results)를 달성하였습니다.