Principe De Fréquence

Le principe de fréquence, ou principe F en abrégé, est un concept important dans le domaine de l'apprentissage profond. Il décrit la caractéristique selon laquelle les réseaux neuronaux profonds (DNN) ont tendance à s'adapter à la fonction cible de basse fréquence à haute fréquence pendant l'entraînement. Ce principe a été proposé par Zhi-Qin John Xu de l'Université Jiao Tong de Shanghai et ses collaborateurs en 2018 dans l'article «Comportement d'entraînement d'un réseau neuronal profond dans le domaine fréquentiel" est clairement indiqué dans le ".

L’introduction du principe de fréquence offre une nouvelle perspective pour comprendre le comportement d’entraînement et la capacité de généralisation des réseaux neuronaux profonds. Selon ce principe, le DNN capturera d’abord les composants basse fréquence de la fonction cible pendant le processus d’apprentissage, puis apprendra progressivement les composants haute fréquence. Cet ordre d'ajustement des basses fréquences aux hautes fréquences est opposé au comportement de nombreuses méthodes numériques traditionnelles, telles que la méthode Jacobi, qui convergent généralement plus rapidement sur les composantes haute fréquence.

L'équipe de recherche a vérifié le principe de fréquence au moyen d'expériences sur des données synthétiques unidimensionnelles et a confirmé son efficacité sur des ensembles de données réelles de grande dimension (tels que MNIST et CIFAR10). Ils ont également proposé un modèle de principe de fréquence linéaire qui peut prédire avec précision les résultats d'apprentissage d'un large réseau neuronal ReLU à deux couches et expliquer théoriquement la capacité de généralisation du DNN.