이상 탐지는 미리 정의된 분포를 벗어난 샘플을 식별하는 데 목적이 있는 잘 정립된 연구 분야이다. 이상 탐지 파이프라인은 두 가지 주요 단계로 구성된다: (1) 특징 추출 및 (2) 정상성 점수 부여. 최근 논문들은 전처리된 네트워크를 사용하여 특징 추출을 수행하며, 최신 기술 수준의 성능을 달성하였다. 그러나 전처리된 네트워크의 사용은 학습 시점에 이용 가능한 정상 샘플의 정보를 충분히 활용하지 못한다. 본 논문은 교사-학생 학습(teacher-student training) 기법을 활용하여 이러한 정보를 효과적으로 활용할 수 있음을 제안한다. 본 연구 설정에서는 전처리된 교사 네트워크를 사용하여 정상 학습 샘플에 대해 학생 네트워크를 훈련시킨다. 학생 네트워크는 정상 샘플만으로 훈련되므로, 이상 샘플에 대해서는 교사 네트워크와 차이를 보일 것으로 기대된다. 이러한 차이는 전처리된 특징 벡터에 대한 보완적인 표현으로 활용될 수 있다. 본 연구에서 제안하는 방법인 Transformaly는 전처리된 비전 트랜스포머(Vision Transformer, ViT)를 활용하여 두 가지 유형의 특징 벡터를 추출한다: 전처리된(무관한) 특징과 교사-학생(세부 조정된) 특징. 제안된 방법은 일반적인 단모달 설정(한 클래스를 정상으로 간주하고 나머지는 이상으로 간주)과 다모달 설정(하나의 클래스를 제외한 모든 클래스를 정상으로 간주하고, 오직 하나의 클래스만 이상으로 간주)에서 모두 최신 기술 수준의 AUROC 성능을 기록하였다. 코드는 다음 링크에서 확인할 수 있다: https://github.com/MatanCohen1/Transformaly.