Tiefe polynomielle neuronale Netze

Deep Convolutional Neural Networks (DCNNs) sind derzeit die bevorzugte Methode sowohl für generative als auch für diskriminative Lernverfahren in der Computer Vision und dem maschinellen Lernen. Der Erfolg von DCNNs lässt sich auf die sorgfältige Auswahl ihrer Bausteine zurückführen (z. B. Residual-Blöcke, Rectifier, anspruchsvolle Normalisierungsschemata, um nur einige zu nennen). In diesem Artikel stellen wir $Π$-Nets vor, eine neue Klasse von Funktionsapproximatoren, die auf Polynomentwicklungen basieren. $Π$-Nets sind polynomiale neuronale Netze, d. h., die Ausgabe ist ein Polynom höherer Ordnung der Eingabe. Die unbekannten Parameter, die natürlich durch hochdimensionale Tensoren repräsentiert werden, werden durch eine gemeinsame Tensorfaktorisierung mit Faktor-Teilung geschätzt. Wir führen drei Tensorzerlegungen ein, die die Anzahl der Parameter erheblich reduzieren, und zeigen, wie sie effizient durch hierarchische neuronale Netze implementiert werden können. Experimentell zeigen wir, dass $Π$-Nets äußerst ausdrucksstark sind und sogar gute Ergebnisse erzielen, ohne dass nichtlineare Aktivierungsfunktionen in einer Vielzahl von Aufgaben und Signalen – wie Bildern, Graphen und Audio – verwendet werden müssen. Werden $Π$-Nets in Kombination mit Aktivierungsfunktionen eingesetzt, erzielen sie state-of-the-art Ergebnisse bei drei anspruchsvollen Aufgaben: Bildgenerierung, Gesichtsverifikation und Lernen von 3D-Mesh-Representationen. Der Quellcode ist unter \url{https://github.com/grigorisg9gr/polynomial_nets} verfügbar.