HyperAIHyperAI

Command Palette

Search for a command to run...

PHNNs: Leichtgewichtige Neuronale Netzwerke durch parametrisierte hyperkomplexe Faltungen

Eleonora Grassucci Aston Zhang Danilo Comminiello

Zusammenfassung

Hyperkomplexe neuronale Netzwerke haben sich als effektiv erwiesen, die Gesamtanzahl der Parameter zu reduzieren, während gleichzeitig eine wertvolle Leistung durch Ausnutzung der Eigenschaften von Clifford-Algebren gewährleistet wird. Kürzlich wurden hyperkomplexe lineare Schichten durch die Einbeziehung effizienter parametrisierter Kronecker-Produkte weiter verbessert. In diesem Artikel definieren wir die Parametrisierung hyperkomplexer Faltungs-Schichten und führen die Familie parametrisierter hyperkomplexer neuronaler Netzwerke (PHNNs) ein, die leichtgewichtig und effiziente Modelle für große Skalen darstellen. Unser Ansatz erfasst die Faltungsregeln und die Filterorganisation direkt aus den Daten, ohne eine starre, vordefinierte Domänenstruktur vorauszusetzen. PHNNs sind flexibel einsetzbar in beliebigen, vom Benutzer definierten oder angepassten Domänen – von 1D bis nnnD – unabhängig davon, ob die Algebra-Regeln vorab festgelegt sind. Diese Anpassungsfähigkeit ermöglicht die Verarbeitung multidimensionaler Eingaben in ihrer natürlichen Domäne, ohne zusätzliche Dimensionen hinzuzufügen, wie dies beispielsweise bei Quaternion-Neural-Netzwerken für 3D-Eingaben wie Farbbilder der Fall ist. Als Ergebnis arbeitet die vorgeschlagene Familie von PHNNs mit 1/n1/n1/n freien Parametern im Vergleich zu ihrem Pendant im reellen Bereich. Wir demonstrieren die Vielseitigkeit dieses Ansatzes anhand von Experimenten auf verschiedenen Bilddatensätzen sowie auf Audiodatensätzen, bei denen unsere Methode sowohl gegenüber reellen als auch gegenüber quaternionwertigen Gegenstücken übertrifft. Der vollständige Quellcode ist unter: https://github.com/eleGAN23/HyperNets verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp