WILDS: 자연계 분포 변화에 대한 벤치마크

분포 이동(distribution shifts) — 즉, 훈련 데이터의 분포와 테스트 데이터의 분포가 다를 경우 — 는 실제 환경에 배포된 기계학습(ML) 시스템의 정확도를 크게 저하시킬 수 있다. 현실 세계의 적용 사례에서 흔히 발생하지만, 현재 ML 공동체에서 널리 사용되는 데이터셋들은 이러한 분포 이동을 충분히 반영하지 못하고 있다. 이 격차를 보완하기 위해, 우리는 실제 응용 사례에서 자연스럽게 발생하는 다양한 분포 이동을 반영한 10개의 데이터셋으로 구성된 체계적인 벤치마크인 WILDS를 제안한다. 예를 들어, 종양 진단에서 병원 간의 분포 이동, 야생 생물 모니터링에서 카메라 트랩 간의 분포 이동, 위성 이미징 및 빈곤 지도화에서 시간과 장소에 따른 분포 이동 등이 포함된다. 각 데이터셋에서 표준 훈련 방식이 분포 내(in-distribution) 성능에 비해 분포 외(out-of-distribution) 성능에서 크게 떨어지는 것을 확인할 수 있다. 기존의 분포 이동을 다루기 위한 방법으로 훈련된 모델 역시 이러한 성능 격차를 여전히 보이고 있으며, 실질적인 상황에서 발생하는 분포 이동에 더 강건한 모델을 훈련하기 위한 새로운 방법의 필요성을 강조한다. 이러한 방법 개발을 촉진하기 위해, 데이터셋 자동 로딩, 기본 모델 아키텍처 및 하이퍼파라미터, 표준화된 평가를 포함하는 오픈소스 패키지를 제공한다. 코드 및 랭킹은 https://wilds.stanford.edu 에서 확인할 수 있다.