시뮬레이션 및 비지도 이미지에서 적대적 훈련을 통한 학습

최근 그래픽 기술의 발전으로 인해 합성 이미지를 사용하여 모델을 훈련시키는 것이 더 용이해졌으며, 비싼 주석 작업을 피할 수 있는 가능성이 생겼습니다. 그러나 합성 이미지에서 학습하는 것은 합성 이미지와 실제 이미지 분포 사이의 차이로 인해 원하는 성능을 달성하지 못할 수도 있습니다. 이 차이를 줄이기 위해 우리는 라벨링되지 않은 실제 데이터를 사용하여 시뮬레이터의 출력을 개선하면서 시뮬레이터로부터 주석 정보를 유지하는 모델을 학습하는 Simulated+Unsupervised (S+U) 학습 방법을 제안합니다. 우리는 Generative Adversarial Networks (GANs)와 유사한 적대적 네트워크를 사용하여 S+U 학습 방법을 개발하였지만, 입력으로 임의 벡터 대신 합성 이미지를 사용하였습니다. 주석 정보를 유지하고, 아티팩트(artifact)를 피하며, 훈련을 안정화하기 위해 표준 GAN 알고리즘에 몇 가지 중요한 수정을 가했습니다: (i) '셀프 정규화(self-regularization)' 항, (ii) 지역 적대적 손실(local adversarial loss), 그리고 (iii) 정제된 이미지의 역사(history of refined images)를 사용하여 판별기를 업데이트합니다. 우리는 이를 질적으로 그리고 사용자 연구를 통해 입증하였습니다. 또한 생성된 이미지를 양적으로 평가하기 위해 시선 추정(gaze estimation) 및 손 포즈 추정(hand pose estimation) 모델을 훈련시켰습니다. 우리는 합성 이미지를 사용한 경우보다 상당한 개선 효과가 있음을 보였으며, 어떠한 라벨링된 실제 데이터도 없이 MPIIGaze 데이터셋에서 최고 수준의 결과를 달성하였습니다.