분포 외 데이터 탐지(Near out-of-distribution detection, OOD)는 심층 신경망의 주요 과제 중 하나이다. 본 연구에서는 대규모 사전 훈련된 트랜스포머 모델이 다양한 데이터 모달리티에 걸쳐 근접 OOD 탐지 작업에서 최신 기술(SOTA)을 크게 향상시킬 수 있음을 보여준다. 예를 들어, CIFAR-100 대 CIFAR-10 OOD 탐지에서 ImageNet-21k로 사전 훈련된 비전 트랜스포머(Vision Transformer)를 사용함으로써 AUROC를 기존 SOTA인 85%에서 96% 이상으로 향상시켰다. 또한 도전적인 유전체(genomics) OOD 탐지 벤치마크에서는 트랜스포머와 비지도 사전 훈련을 활용하여 AUROC를 66%에서 77%로 개선했다. 성능 향상을 더욱 추구하기 위해, 이상치 클래스에서 일부 예시만 제공되는 소수 샘플 이상치 노출(few-shot outlier exposure) 설정을 탐구하였으며, 사전 훈련된 트랜스포머가 특히 이상치 노출에 매우 적합함을 입증하였다. 이 경우, CIFAR-100 대 CIFAR-10 OOD 탐지에서 각 이상치 클래스당 단 1개의 이미지만 사용해도 AUROC가 98.7%까지 향상되었고, 각 클래스당 10개의 이미지를 사용할 경우 99.46%까지 도달할 수 있었다. 다중 모달 이미지-텍스트 사전 훈련된 트랜스포머(예: CLIP)의 경우, 추가 이미지 없이 이상치 클래스의 이름만을 유일한 정보로 사용하는 새로운 접근법을 탐색하였으며, 이 방법이 기존 SOTA를 상회하는 성능을 표준 시각 OOD 벤치마크 과제에서 달성함을 입증하였다.