극저조도 조건에서 듀얼 티처를 통한 도메인 적응 2D 인간 포즈 추정

기존의 2D 인간 자세 추정 연구는 주로 조명이 잘 된 상황에 집중되어 있으며, 일상생활에서 흔히 발생하는 암은 조건에 대한 탐구는 제한적입니다. 최근 저조도 자세 추정 연구에서는 저조도 이미지와 그에 대응하는 조명이 잘 된 이미지를 함께 사용하여 학습해야 하는데, 이는 저조도 이미지의 주석화 작업과 관련된 고유한 어려움으로 인해 실용적이지 않습니다. 이를 해결하기 위해, 우리는 저조도 지상 진리 데이터를 필요로 하지 않는 새로운 접근법을 소개합니다. 우리의 주요 혁신점은 두 개의 보완적인 교사 네트워크를 활용하여 더 신뢰할 수 있는 가짜 라벨을 생성하는 것입니다. 이를 통해 우리 모델은 저조도 지상 진리 데이터 없이 극단적으로 저조도 이미지에서 경쟁력 있는 성능을 발휘할 수 있습니다.우리의 프레임워크는 두 단계로 구성됩니다. 첫 번째 단계에서는 조명이 잘 된 데이터와 저조도 증강을 사용하여 모델을 학습시킵니다. 두 번째 단계에서는 미라벨링된 저조도 데이터를 활용하기 위한 듀얼-교사 프레임워크를 제안합니다. 여기서 중심 기반 주 교사는 비교적 시각적으로 구분 가능한 경우의 가짜 라벨을 생성하며, 관절 기반 보완 교사는 주 교사가 놓친 사람들의 가짜 라벨 생성에 중점을 둡니다. 두 교사로부터 얻은 가짜 라벨을 바탕으로, 우리는 학습 과정에서 교사를 능가하도록 학생 모델을 도전시키기 위한 개인별 저조도 증강 방법을 제안합니다.실제 저조도 데이터셋 (ExLPose-OCN)에서의 실험 결과, 우리의 방법은 저조도 지상 진리 데이터를 사용하지 않았음에도 불구하고 최신 기술(SOTA) 방법보다 6.8%(2.4 AP) 개선된 성능을 보였습니다. 이는 SOTA 방법과 대비되는 점입니다. 우리의 코드는 다음 링크에서 제공될 예정입니다: https://github.com/ayh015-dev/DA-LLPose.(주: "ground truths"는 "지상 진리"로 번역되었으며, "pseudo labels"는 "가짜 라벨"로 번역되었습니다.)