通用逼近理论 Universal Approximation Theory

通用逼近理论（Universal Approximation Theory，简称 UAT）是神经网络领域的一个重要理论基础，它表明具有足够复杂结构的神经网络能够以任意精度逼近任何连续函数。这一理论最早由 George Cybenko 在 1989 年提出，相关论文成果为「Approximation by Superpositions of a Sigmoidal Function」。他证明了只要神经元数量足够，并且使用非线性激活函数（如 Sigmoid 函数），具有单个隐藏层的前馈神经网络可以逼近任何连续函数。随后，Kurt Hornik 在 1991 年发表了论文「Approximation capabilities of multilayer feedforward networks」扩展了这一理论，表明激活函数的选择可以更广泛，只要激活函数是非常数、有界、单调增加且连续的，就可以适用。