Component Aware Transformer를 활용한 단계별 3D 전신 메시 복원

전신 메시 복원은 단일 이미지에서 3차원 인간의 몸, 얼굴, 그리고 손의 매개변수를 추정하는 것을 목표로 합니다. 해상도 문제로 인해 이 작업을 단일 네트워크로 수행하는 것은 어려운데, 즉 얼굴과 손은 일반적으로 매우 작은 영역에 위치하기 때문입니다. 기존 연구들은 주로 손과 얼굴을 감지한 후, 그들의 해상도를 확대하여 특정 네트워크에 입력하고 매개변수를 예측한 뒤, 마지막으로 결과들을 융합합니다. 이러한 복사-붙여넣기 파이프라인은 얼굴과 손의 세부 특징을 포착할 수 있지만, 다른 부위들 간의 연결성을 후기 융합 단계에서 쉽게 복원할 수 없어 비현실적인 3D 회전과 자연스럽지 않은 자세가 발생할 가능성이 있습니다.본 연구에서는 각 부분을 위한 별도의 네트워크 없이 표현력 있는 전신 메시 복원을 위한 일괄 처리 파이프라인인 OSX를 제안합니다. 구체적으로, 글로벌 본체 인코더와 로컬 얼굴/손 디코더로 구성된 컴포넌트 인식 트랜스포머(CAT)를 설계하였습니다. 인코더는 본체 매개변수를 예측하고 디코더에게 고품질의 피처 맵을 제공하며, 디코더는 피처 레벨 업샘플링-크롭 방식을 통해 고해상도 부분별 피처를 추출하고 키포인트 안내 변형 주목력을 사용하여 손과 얼굴을 정확히 추정합니다. 전체 파이프라인은 간단하면서도 효과적이며 어떠한 수작업 후처리도 필요하지 않고 자연스럽게 비현실적인 예측을 피할 수 있습니다. 광범위한 실험 결과들이 OSX의 효과성을 입증하였습니다.마지막으로, 다양한 실제 상황에서 부분적으로 보이는 사람들을 포함하여 기본 작업과 하류 응용 프로그램 사이의 격차를 줄이기 위해 고품질 2D 및 3D 전신 주석이 포함된 대규모 상반신 데이터셋(UBody)을 구축하였습니다.