$Π$-nets: Tiefpolynomielle neuronale Netze

Deep Convolutional Neural Networks (DCNNs) sind derzeit die bevorzugte Methode sowohl für generative als auch für diskriminative Lernverfahren in der Computer Vision und dem maschinellen Lernen. Der Erfolg von DCNNs lässt sich auf die sorgfältige Auswahl ihrer Bausteine zurückführen (beispielsweise Residual-Blöcke, Rectifier, anspruchsvolle Normalisierungsschemata, um nur einige zu nennen). In diesem Artikel stellen wir $Π$-Nets vor, eine neue Klasse von DCNNs. $Π$-Nets sind polynomiale neuronale Netze, d. h., ihre Ausgabe ist ein Polynom höherer Ordnung der Eingabe. $Π$-Nets können mittels einer speziellen Art von Skip-Verbindungen implementiert werden, und ihre Parameter können durch hochdimensionale Tensoren dargestellt werden. Wir demonstrieren empirisch, dass $Π$-Nets eine überlegene Approximationskraft im Vergleich zu herkömmlichen DCNNs besitzen und bereits gute Ergebnisse erzielen, ohne dass nichtlineare Aktivierungsfunktionen in einer Vielzahl von Aufgaben und Signalen – beispielsweise Bildern, Graphen und Audio – verwendet werden müssen. Bei Kombination mit Aktivierungsfunktionen erreichen $Π$-Nets state-of-the-art Ergebnisse bei anspruchsvollen Aufgaben wie der Bildgenerierung. Schließlich macht unser Framework transparent, warum neuere generative Modelle wie StyleGAN ihre Vorgänger, beispielsweise ProGAN, übertrumpfen.