
3D 소프트웨어는 이제 실제 이미지와 거의 구분할 수 없을 정도로 매우 현실감 있는 이미지를 생성할 수 있다. 이에 따라 다음과 같은 질문이 제기된다: 실제 데이터셋은 3D 렌더링된 데이터로 보완될 수 있는가? 본 연구에서는 이 질문에 대해 탐구한다. 본 논문에서는 3D 렌더링된 데이터와 절차적(procedural) 데이터를 활용하여 이미지 데이터셋 내 편향을 조정하는 방법을 제시한다. 동물 이미지에 대한 오류 분석을 수행한 결과, 일부 동물 품종의 오분류는 주로 데이터 문제에 기인함을 확인하였다. 이후, 오분류가 자주 발생하는 품종에 대해 절차적 이미지를 생성하고, 이러한 절차적 데이터로 추가 학습된 모델이 실제 데이터에서 성능이 낮았던 품종을 더 잘 분류함을 보였다. 본 연구팀은 이러한 접근 방식이 희귀 질환을 포함한 어떤 부족한 집단에 대한 시각적 데이터를 보완하는 데 활용될 수 있으며, 다양한 데이터 편향을 완화함으로써 모델의 정확성과 공정성을 향상시킬 수 있다고 믿는다. 우리는 결과적으로 학습된 표현이 실제 데이터로부터 직접 학습한 것과 비슷하거나 그 이상의 성능을 발휘함을 발견하였으나, 뛰어난 성능을 얻기 위해서는 3D 렌더링된 절차적 데이터 생성 과정에서 신중함이 필요함을 확인하였다. 3D 이미지 데이터셋은 실제 데이터셋의 압축되고 체계화된 복사본이라 할 수 있으며, 앞으로 점점 더 많은 절차적 데이터가 확산되고, 데이터셋은 점점 더 다루기 어려워지거나 누락되거나 비공개 상태가 될 것이라고 전망한다. 본 논문은 이러한 미래 상황에서 시각적 표현 학습을 다루기 위한 여러 기법을 제안한다.