초록
우리는 지속적인 자기지도 학습(Continual Self-Supervised Learning, CSSL)에서 효과적인 표현 학습을 위해 새로운 의사-음성 정규화(Pseudo-Negative Regularization, PNR) 프레임워크를 제안한다. 본 PNR는 모델 기반 증강을 통해 얻은 의사-음성( pseudo-negatives)을 활용하여, 새로운 학습된 표현이 과거에 학습된 내용과 모순되지 않도록 한다. 구체적으로, InfoNCE 기반의 대조 학습 방법에 대해 현재 모델과 이전 모델로부터 얻은 대칭적 의사-음성을 정의하고, 이를 주 손실 항과 정규화 손실 항 양쪽에 활용한다. 또한, 음성에 내재적으로 의존하지 않는 비대조 학습 방법에 이 아이디어를 확장한다. 이러한 방법에서는 의사-음성을 앵커 샘플의 다른 증강 버전에 대해 이전 모델이 출력한 결과로 정의하며, 이를 비대칭적으로 정규화 항에 적용한다. 광범위한 실험 결과를 통해, 본 PNR 프레임워크가 지속적 자기지도 학습 환경에서 표현 학습에서 최신 기술 수준의 성능을 달성함을 입증하였으며, 유연성(plasticity)과 안정성(stability) 사이의 트레이드오프를 효과적으로 균형 잡는 데 기여함을 보였다.