La théorie de l’approximation universelle (UAT) est une base théorique importante dans le domaine des réseaux neuronaux. Cela montre qu’un réseau neuronal doté d’une structure suffisamment complexe peut approximer n’importe quelle fonction continue avec une précision arbitraire. Cette théorie a été proposée pour la première fois par George Cybenko en 1989, et l'article pertinent est «Approximation par superpositions d'une fonction sigmoïdaleIl a démontré qu'un réseau neuronal à propagation directe avec une seule couche cachée peut approximer n'importe quelle fonction continue, à condition que le nombre de neurones soit suffisant et qu'une fonction d'activation non linéaire (telle que la fonction sigmoïde) soit utilisée. Par la suite, Kurt Hornik a publié un article en 1991 intitulé «Capacités d'approximation des réseaux multicouches à propagation avant« a étendu cette théorie et a montré que le choix de la fonction d'activation peut être plus large et peut être appliqué tant que la fonction d'activation est non constante, bornée, monotone croissante et continue.