라벨 랭커: 시각적 마스킹 자기지도 학습 사전 훈련 모델에서 분류 라벨 위치에 대한 자기 인식 선호

이 논문은 분류 레이블 위치에 대한 무작위 초기화된 고유 인코딩이 시각적 마스킹 자기지도 학습 사전 훈련 모델의 하류 분류 작업에 대한 미세 조정 시 미치는 영향을 탐구한다. 우리의 연구 결과에 따르면, 동일한 분류 데이터셋 할당 전략을 사용하더라도, 다양한 무작위 초기화 값에 따라 미세 조정 결과에 상당한 차이가 발생함을 확인하였다. 이러한 결과 간의 정확도 차이로부터, 시각적 마스킹 자기지도 학습 사전 훈련 모델이 특정 분류 레이블 위치에 내재된 선호성을 가지고 있음을 시사한다. 이를 검증하기 위해, 비자기지도 학습 시각 사전 훈련 모델과 비교 분석하고, 마스킹 자기지도 학습 모델이 특정 레이블 위치에 대해 자기 인식적 편향(self-aware bias)을 보일 것임을 가정한다. 무작위 인코딩으로 인한 불안정성을 완화하기 위해, 분류 레이블 위치 순위 알고리즘인 Label Ranker를 제안한다. 이 알고리즘은 선형 판별 분석(Linear Discriminant Analysis)을 이용한 특징 맵의 1차원 차원 축소와, 유클리드 거리의 유사성 특성을 활용한 비지도 특징 클러스터링을 통한 위치-순위 인코딩을 기반으로 한다. 이를 통해 레이블 위치 인코딩이 모델의 내재된 선호성과 일치하도록 보장한다. CIFAR-100, UCF101, HMDB51 분류 데이터셋을 기반으로 ImageMAE 및 VideoMAE 모델을 사용한 광범위한 아블레이션 실험을 통해 제안된 방법의 유효성을 검증하였다. 결과는 제안한 방법이 분류 레이블 위치 인코딩의 안정성을 효과적으로 향상시키며, 시각적 마스킹 자기지도 학습 모델의 미세 조정 성능을 개선함을 입증한다.