PHNNs: Leichtgewichtige Neuronale Netzwerke durch parametrisierte hyperkomplexe Faltungen

Hyperkomplexe neuronale Netzwerke haben sich als effektiv erwiesen, die Gesamtanzahl der Parameter zu reduzieren, während gleichzeitig eine wertvolle Leistung durch Ausnutzung der Eigenschaften von Clifford-Algebren gewährleistet wird. Kürzlich wurden hyperkomplexe lineare Schichten durch die Einbeziehung effizienter parametrisierter Kronecker-Produkte weiter verbessert. In diesem Artikel definieren wir die Parametrisierung hyperkomplexer Faltungs-Schichten und führen die Familie parametrisierter hyperkomplexer neuronaler Netzwerke (PHNNs) ein, die leichtgewichtig und effiziente Modelle für große Skalen darstellen. Unser Ansatz erfasst die Faltungsregeln und die Filterorganisation direkt aus den Daten, ohne eine starre, vordefinierte Domänenstruktur vorauszusetzen. PHNNs sind flexibel einsetzbar in beliebigen, vom Benutzer definierten oder angepassten Domänen – von 1D bis $n$D – unabhängig davon, ob die Algebra-Regeln vorab festgelegt sind. Diese Anpassungsfähigkeit ermöglicht die Verarbeitung multidimensionaler Eingaben in ihrer natürlichen Domäne, ohne zusätzliche Dimensionen hinzuzufügen, wie dies beispielsweise bei Quaternion-Neural-Netzwerken für 3D-Eingaben wie Farbbilder der Fall ist. Als Ergebnis arbeitet die vorgeschlagene Familie von PHNNs mit $1/n$ freien Parametern im Vergleich zu ihrem Pendant im reellen Bereich. Wir demonstrieren die Vielseitigkeit dieses Ansatzes anhand von Experimenten auf verschiedenen Bilddatensätzen sowie auf Audiodatensätzen, bei denen unsere Methode sowohl gegenüber reellen als auch gegenüber quaternionwertigen Gegenstücken übertrifft. Der vollständige Quellcode ist unter: https://github.com/eleGAN23/HyperNets verfügbar.