Command Palette
Search for a command to run...
확산 모델이 왜 기억하지 않는가: 훈련에서 은닉된 역동적 정규화의 역할
확산 모델이 왜 기억하지 않는가: 훈련에서 은닉된 역동적 정규화의 역할
Tony Bonnaire Raphaël Urfin Giulio Biroli Marc Mezard
초록
확산 모델은 다양한 생성 과제에서 놀라운 성과를 거두었으며, 이는 최근의 기계 학습 연구에서 중요한 주제로 부상하고 있다. 그러나 핵심적인 과제는 훈련 데이터의 기억화를 방지하고 일반화를 가능하게 하는 메커니즘을 이해하는 것이다. 본 연구에서는 일반화에서 기억화로의 전이 과정에서 훈련 동역학이 어떤 역할을 하는지 탐구한다. 광범위한 실험과 이론적 분석을 통해, 두 가지 명확한 시간 척도를 식별하였다. 첫 번째는 모델이 고품질의 샘플을 생성하기 시작하는 초기 시기이며, 두 번째는 기억화가 나타나기 시작하는 후기 시기이다. 특히, 우리는 초기 시기인 t₁가 훈련 데이터 크기 N에 비례하여 증가하지만, 후기 시기인 t₂는 일정하게 유지됨을 발견하였다. 이로 인해, 모델이 효과적으로 일반화할 수 있는 훈련 시간 창이 점점 커지게 되며, 이 창을 넘어서 훈련을 계속할 경우 강한 기억화 현상이 나타나게 된다. 그러나 모델에 따라 달라지는 임계값을 초과할 때에 비로소 무한한 훈련 시간에서 과적합이 사라진다. 이러한 결과는 훈련 동역학 내에 암묵적인 동적 정규화가 존재함을 시사하며, 과도하게 파라미터화된 환경에서도 기억화를 피할 수 있도록 해준다. 본 연구의 결론은 실제 데이터셋과 합성 데이터셋을 사용한 표준 U-Net 아키텍처에 대한 수치 실험과, 고차원 극한에서 다루기 쉬운 무작위 특징 모델을 활용한 이론적 분석을 통해 뒷받침된다.