Die Universal Approximation Theory (UAT) ist eine wichtige theoretische Grundlage im Bereich der neuronalen Netzwerke. Es zeigt, dass ein neuronales Netzwerk mit einer ausreichend komplexen Struktur jede kontinuierliche Funktion mit beliebiger Genauigkeit approximieren kann. Diese Theorie wurde erstmals 1989 von George Cybenko vorgeschlagen, und das entsprechende Papier ist "Approximation durch Superpositionen einer SigmoidfunktionEr bewies, dass ein Feedforward-Neuronales Netzwerk mit einer einzigen verborgenen Schicht jede kontinuierliche Funktion approximieren kann, solange die Anzahl der Neuronen ausreichend ist und eine nichtlineare Aktivierungsfunktion (wie die Sigmoidfunktion) verwendet wird. Anschließend veröffentlichte Kurt Hornik 1991 eine Arbeit mit dem Titel „Approximationsfähigkeiten mehrschichtiger Feedforward-Netzwerke" erweitert diese Theorie und zeigt, dass die Auswahl der Aktivierungsfunktion breiter sein kann, solange die Aktivierungsfunktion nicht-konstant, beschränkt, monoton zunehmend und kontinuierlich ist.