F 原理 (周波数原理) と呼ばれる周波数原理は、深層学習の分野における重要な概念であり、低周波数から高周波数まで目的関数に適合する傾向があるディープ ニューラル ネットワーク (DNN) の特性を説明します。トレーニングのプロセス。この原則は、2018 年に上海交通大学の Zhi-Qin John Xu 氏とその共同研究者によって論文「」で提案されました。周波数領域でのディープ ニューラル ネットワークのトレーニング動作」と明記されていました。
周波数原理の提案は、ディープ ニューラル ネットワークのトレーニング動作と汎化能力を理解するための新しい視点を提供します。この原理に従って、DNN は学習プロセス中にまずターゲット関数の低周波成分をキャプチャし、次に高周波成分を徐々に学習します。この低周波から高周波へのフィッティング順序は、一般に高周波成分でより速く収束する多くの従来の数値計算手法 (ヤコビ法など) の動作に反します。
研究チームは、1次元合成データの実験を通じて周波数原理を検証し、さらにMNISTやCIFAR10などの高次元実データセットに対するその有効性を確認しました。また、広範な2層ReLUニューラルネットワークの学習結果を正確に予測し、DNNの汎化能力を理論的に説明できる線形周波数原理モデルを提案した。