HyperAIHyperAI

Command Palette

Search for a command to run...

Tiefe polynomielle neuronale Netze

Grigorios Chrysos Stylianos Moschoglou Giorgos Bouritsas Jiankang Deng Yannis Panagakis Stefanos Zafeiriou

Zusammenfassung

Deep Convolutional Neural Networks (DCNNs) sind derzeit die bevorzugte Methode sowohl für generative als auch für diskriminative Lernverfahren in der Computer Vision und dem maschinellen Lernen. Der Erfolg von DCNNs lässt sich auf die sorgfältige Auswahl ihrer Bausteine zurückführen (z. B. Residual-Blöcke, Rectifier, anspruchsvolle Normalisierungsschemata, um nur einige zu nennen). In diesem Artikel stellen wir ΠΠΠ-Nets vor, eine neue Klasse von Funktionsapproximatoren, die auf Polynomentwicklungen basieren. ΠΠΠ-Nets sind polynomiale neuronale Netze, d. h., die Ausgabe ist ein Polynom höherer Ordnung der Eingabe. Die unbekannten Parameter, die natürlich durch hochdimensionale Tensoren repräsentiert werden, werden durch eine gemeinsame Tensorfaktorisierung mit Faktor-Teilung geschätzt. Wir führen drei Tensorzerlegungen ein, die die Anzahl der Parameter erheblich reduzieren, und zeigen, wie sie effizient durch hierarchische neuronale Netze implementiert werden können. Experimentell zeigen wir, dass ΠΠΠ-Nets äußerst ausdrucksstark sind und sogar gute Ergebnisse erzielen, ohne dass nichtlineare Aktivierungsfunktionen in einer Vielzahl von Aufgaben und Signalen – wie Bildern, Graphen und Audio – verwendet werden müssen. Werden ΠΠΠ-Nets in Kombination mit Aktivierungsfunktionen eingesetzt, erzielen sie state-of-the-art Ergebnisse bei drei anspruchsvollen Aufgaben: Bildgenerierung, Gesichtsverifikation und Lernen von 3D-Mesh-Representationen. Der Quellcode ist unter \url{https://github.com/grigorisg9gr/polynomial_nets} verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp