주파수 원리

주파수 원리, 또는 줄여서 F-원칙은 딥러닝 분야에서 중요한 개념입니다. 이는 심층 신경망(DNN)이 학습 중에 저주파에서 고주파로 타겟 함수에 맞춰지는 경향이 있는 특성을 설명합니다. 이 원리는 2018년 상하이 교통대학교의 Zhi-Qin John Xu와 그의 협력자들이 논문 "주파수 영역에서의 딥 신경망의 학습 행동"는 "에 명확하게 명시되어 있습니다.

주파수 원리의 도입은 딥 신경망의 훈련 행동과 일반화 능력을 이해하는 데 새로운 관점을 제공합니다. 이 원리에 따르면, DNN은 학습 과정에서 먼저 대상 함수의 저주파 성분을 포착한 다음 점차적으로 고주파 성분을 학습합니다. 저주파에서 고주파로 정렬하는 이러한 순서는 일반적으로 고주파 성분에서 더 빨리 수렴하는 Jacobi 방법과 같은 많은 기존 수치적 방법의 동작과 반대입니다.

연구팀은 1차원 합성 데이터에 대한 실험을 통해 주파수 원리를 검증했으며, 고차원 실제 데이터 세트(예: MNIST, CIFAR10)에 대한 효과도 확인했습니다. 또한, 넓은 2층 ReLU 신경망의 학습 결과를 정확하게 예측할 수 있고 DNN의 일반화 능력을 이론적으로 설명할 수 있는 선형 주파수 원리 모델을 제안했습니다.