시프트: 다수의 대규모 작업에서 실질적인 분포 변화를 담은 데이터셋

분포 이동에 대한 강건성 향상 및 불확실성 추정을 위한 방법 개발에 대해 상당한 연구가 진행되어 왔다. 반면, 이러한 접근 방식을 평가하기 위한 표준 데이터셋과 벤치마크 개발에 관한 연구는 제한적이다. 또한, 대부분의 불확실성 추정 및 강건성 관련 연구는 소규모 회귀 또는 이미지 분류 작업을 기반으로 새로운 기술을 개발해 왔다. 그러나 실용적인 관심을 끄는 많은 과제들은 표본 데이터, 음성, 텍스트, 센서 데이터와 같은 다양한 모달리티를 포함하며, 이는 회귀 및 이산 또는 연속적인 구조화된 예측 과제에 있어 중요한 도전 과제를 제기한다. 따라서 현재의 분야 상황을 고려할 때, 다양한 모달리티에 걸쳐 분포 이동에 영향을 받는 대규모 표준화된 데이터셋이 필수적이다. 이는 최근 개발된 다양한 불확실성 측정 방법, 평가 기준 및 최첨단 베이스라인을 의미 있게 평가할 수 있도록 해줄 것이다. 본 연구에서는 불확실성 추정 평가 및 분포 이동에 대한 강건성 평가를 위한 ‘Shifts 데이터셋’을 제안한다. 이 데이터셋은 산업적 소스 및 서비스에서 수집된 것으로, 표본 기반 날씨 예측, 기계 번역, 자율주행차(SDC) 차량 운동 예측 세 가지 과제로 구성되며, 각각 특정한 데이터 모달리티에 대응한다. 이들 모든 데이터 모달리티와 과제는 현실적인 ‘실내외 환경에서의’ 분포 이동에 영향을 받으며, 불확실성 추정 측면에서 흥미로운 도전 과제를 제시한다. 본 연구에서는 이 데이터셋에 대한 설명과 각 과제에 대한 베이스라인 결과를 제시한다.