17일 전

QT-DoG: 도메인 일반화를 위한 양자화 인식 훈련

Saqib Javed, Hieu Le, Mathieu Salzmann
QT-DoG: 도메인 일반화를 위한 양자화 인식 훈련
초록

도메인 일반화(Domain Generalization, DG)는 학습(소스) 도메인에서뿐만 아니라 새로운, 미처 경험하지 못한 타겟 데이터 분포에서도 우수한 성능을 발휘하는 모델을 학습하는 것을 목표로 한다. DG의 핵심 과제 중 하나는 소스 도메인에 대한 과적합(overfitting)을 방지하는 것이다. 이는 손실 곡면(loss landscape) 내에서 더 평탄한 최소값(flatter minima)을 찾음으로써 완화될 수 있다. 본 연구에서는 도메인 일반화를 위한 양자화 인식 학습(Quantization-aware Training for Domain Generalization, QT-DoG)을 제안하며, 가중치 양자화가 손실 곡면 내에서 평탄한 최소값을 효과적으로 유도함으로써 도메인 일반화 성능을 향상시킨다는 점을 입증한다. 기존의 모델 압축에 초점을 맞춘 전통적인 양자화 방법과 달리, QT-DoG는 가중치에 노이즈를 유도함으로써 양자화를 암묵적인 정규화 항(regularizer)으로 활용한다. 이를 통해 최적화 과정이 외부 변동이나 노이즈에 덜 민감하고 과적합이 적은 평탄한 최소값 방향으로 유도된다. 우리는 이론적 분석과 실험적 증거를 통해 양자화가 본질적으로 평탄한 최소값을 촉진함으로써 도메인 간 일반화 성능을 향상시킨다는 점을 입증한다. 또한 양자화를 통해 모델 크기를 줄일 수 있는 이점을 활용하여, 여러 양자화된 모델의 앙상블(ensemble)이 계산 및 메모리 오버헤드 없이 최신 DG 방법보다 더 높은 정확도를 달성함을 보여준다. 광범위한 실험을 통해 QT-DoG가 다양한 데이터셋, 아키텍처, 양자화 알고리즘에 걸쳐 일반화 가능하며, 다른 DG 기법과도 유연하게 결합 가능함을 확인하였으며, 이는 본 방법의 유연성과 강건성을 입증한다.