Frequenzprinzip

Das Frequenzprinzip, kurz F-Prinzip, ist ein wichtiges Konzept im Bereich des Deep Learning. Es beschreibt die Eigenschaft, dass tiefe neuronale Netzwerke (DNNs) während des Trainings dazu neigen, sich der Zielfunktion von niedriger Frequenz zu hoher Frequenz anzupassen. Dieses Prinzip wurde 2018 von Zhi-Qin John Xu von der Shanghai Jiao Tong University und seinen Mitarbeitern in der Arbeit „Trainingsverhalten tiefer neuronaler Netzwerke im Frequenzbereich" steht klar im ".

Die Einführung des Frequenzprinzips bietet eine neue Perspektive zum Verständnis des Trainingsverhaltens und der Generalisierungsfähigkeit tiefer neuronaler Netzwerke. Nach diesem Prinzip erfasst DNN während des Lernprozesses zunächst die niederfrequenten Komponenten der Zielfunktion und lernt dann schrittweise die hochfrequenten Komponenten. Diese Reihenfolge der Anpassung von niedrigen zu hohen Frequenzen steht im Widerspruch zum Verhalten vieler traditioneller numerischer Methoden, wie etwa der Jacobi-Methode, die bei hochfrequenten Komponenten typischerweise schneller konvergieren.

Das Forschungsteam überprüfte das Frequenzprinzip durch Experimente mit eindimensionalen synthetischen Daten und bestätigte seine Wirksamkeit anhand hochdimensionaler realer Datensätze (wie MNIST und CIFAR10). Sie schlugen außerdem ein lineares Frequenzprinzipmodell vor, das die Lernergebnisse eines breiten zweischichtigen ReLU-Neuralnetzwerks genau vorhersagen und die Generalisierungsfähigkeit von DNN theoretisch erklären kann.