2달 전

자기 지도 학습을 위한 자기 감독 정규화 탐구

Phi Vu Tran
자기 지도 학습을 위한 자기 감독 정규화 탐구
초록

최근 준지도 학습의 발전은 현대 머신 러닝 알고리즘의 성공을 위한 주요 장벽인 대량의 인간이 라벨링한 훈련 데이터에 대한 접근성을 극복하는 데 엄청난 잠재력을 보여주었습니다. 일관성 정규화를 기반으로 하는 이전 알고리즘들은 비라벨 데이터의 풍부함을 활용하여 여러 준지도 벤치마크에서 인상적인 결과를 얻었으며, 사용 가능한 라벨 데이터의 일부만으로 강력한 지도 기준선의 성능에 근접했습니다. 본 연구에서는 일관성 정규화의 오랜 성공을 도전하며, 비라벨 데이터에서 의미론적 특징 표현을 결합하기 위한 기반으로 자기지도 정규화(self-supervised regularization)를 소개합니다. SVHN, CIFAR-10, CIFAR-100 벤치마크 데이터셋에서 지도 및 준지도 이미지 분류를 위한 자기지도 정규화의 효과성을 입증하기 위해 광범위한 비교 실험을 수행했습니다. 두 가지 주요 결과를 제시합니다: (1) 자기지도 정규화가 추가된 모델들은 비라벨 데이터가 필요하지 않아도 전통적인 지도 분류기보다 크게 개선되었습니다; (2) 비라벨 데이터와 함께 사용할 때, 우리의 모델들은 이전 최신 일관성 기준선과 경쟁할 수 있으며 많은 경우에서 이를 초월하는 준지도 성능을 보였습니다. 마지막으로, 우리의 모델들은 신경망 훈련에 표준적으로 설정되는 하이퍼파라미터 외에 최적 성능을 위해 조정해야 할 추가적인 하이퍼파라미터가 필요하지 않고 효율적으로 단일 과정(end-to-end)으로 훈련될 수 있는 실용적인 장점을 가지고 있습니다. 참조 코드와 데이터는 https://github.com/vuptran/sesemi 에서 제공됩니다.

자기 지도 학습을 위한 자기 감독 정규화 탐구 | 최신 연구 논문 | HyperAI초신경