MT-SLVR: 다중 작업 자기 감독 학습을 이용한 변환 불변 표현

대조적 자기 감독 학습은 대규모 비라벨 데이터 세트에서 고품질 표현을 생성하는 능력으로 주목받고 있습니다. 이러한 강력한 특징들이 하류 작업의 데이터 효율적인 학습을 가능하게 하는 주요 이유는 증강 불변성을 제공하기 때문입니다. 이는 종종 유용한 귀납적 편향(inductive bias)이 됩니다. 그러나 선호되는 불변성의 양과 유형은 사전에 알려져 있지 않으며, 다양한 하류 작업에 따라 다르게 나타납니다. 따라서 우리는 매개변수 효율적인 방식으로 변동 특징과 불변 특징을 동시에 학습하는 다중 작업 자기 감독 프레임워크(MT-SLVR)를 제안합니다. 우리의 다중 작업 표현은 강하고 유연한 특징을 제공하여 다양한 하류 작업에 이점을 줍니다. 우리는 다양한 오디오 영역에서 추출한 소수 샘플 분류 작업(few-shot classification tasks)에서 접근법을 평가하였으며, 모든 작업에서 개선된 분류 성능을 입증하였습니다.