普遍近似理論 (UAT) は、ニューラル ネットワークの分野における重要な理論的基礎であり、十分に複雑な構造を持つニューラル ネットワークが任意の精度で任意の連続関数を近似できることを示しています。この理論は 1989 年に George Cybenko によって初めて提案され、関連する論文の結果は次のとおりです。シグモイド関数の重ね合わせによる近似”。彼は、ニューロンの数が十分であり、非線形活性化関数 (シグモイド関数など) が使用されている限り、単一の隠れ層を持つフィードフォワード ニューラル ネットワークで任意の連続関数を近似できることを証明しました。その後、カート・ホーニクは 1991 年に論文を発表しました。多層フィードフォワードネットワークの近似機能」はこの理論を拡張し、活性化関数が非定数で、有界で、単調増加し、連続的である限り、活性化関数の選択がより幅広く適用できることを示しています。