ColorMAE: 마스킹된 자동인코더에서 데이터에 의존하지 않는 마스킹 전략 탐색

마스킹된 자동인코더(Masked AutoEncoders, MAE)는 다양한 후속 작업에서 뛰어난 성능을 보이며 강력한 자기지도 학습 프레임워크로 부상했다. 시각적 표현을 더욱 풍부하게 학습하기 위해 기존 연구들은 표준적인 무작위 마스킹을 보다 복잡한 전략, 예를 들어 적대적 지도형 또는 교사 지도형 마스킹으로 대체함으로써 사전 작업의 난이도를 높이는 데 주력해왔다. 그러나 이러한 전략들은 입력 데이터에 의존하므로 일반적으로 모델 복잡성을 증가시키고 마스킹 패턴 생성을 위한 추가 계산을 요구한다. 이에 대해 다음과 같은 질문이 제기된다: 입력 데이터에 의존하지 않고 추가적인 계산 비용 없이도 MAE의 성능을 무작위 마스킹을 넘어서 향상시킬 수 있는가? 본 연구에서는 입력 데이터에 독립적인 간단하면서도 효과적인 방법인 ColorMAE를 제안한다. ColorMAE는 무작위 노이즈를 필터링하여 다양한 이진 마스킹 패턴을 생성한다. 이미지 처리에서의 색상 노이즈를 영감으로 삼아, 공간적 및 의미적 사전 지식을 갖춘 마스킹 패턴을 생성하기 위해 네 가지 유형의 필터를 탐색하였다. ColorMAE는 네트워크 내에서 추가적인 학습 가능한 파라미터나 계산 부담 없이도 학습된 표현을 크게 향상시킨다. 광범위한 실험적 평가를 통해 제안한 전략이 무작위 마스킹에 비해 후속 작업에서 우수한 성능을 보임을 입증하였다. 특히, 기준 MAE 구현 대비 세분화 작업에서 mIoU가 2.72 포인트 향상된 결과를 보고한다.