PHNNs : Réseaux de neurones légers basés sur des convolutions hypercomplexes paramétrées

Les réseaux neuronaux hypercomplexes se sont avérés réduire le nombre total de paramètres tout en garantissant des performances significatives grâce à l’exploitation des propriétés des algèbres de Clifford. Récemment, les couches linéaires hypercomplexes ont été améliorées en intégrant des produits de Kronecker paramétrés efficaces. Dans cet article, nous définissons la paramétrisation des couches convolutionnelles hypercomplexes et introduisons la famille de réseaux neuronaux hypercomplexes paramétrés (PHNNs), des modèles légers et efficaces adaptés à des échelles importantes. Notre méthode capture directement les règles de convolution et l’organisation des filtres à partir des données, sans nécessiter de structure de domaine rigide prédéfinie. Les PHNNs sont flexibles et peuvent opérer dans n’importe quel domaine défini ou ajusté par l’utilisateur, qu’il s’agisse de dimensions unidimensionnelles (1D) ou n-dimensionnelles (nD), indépendamment du fait que les règles algébriques soient prédéfinies. Cette souplesse permet de traiter des entrées multidimensionnelles dans leur domaine naturel, sans avoir à ajouter des dimensions supplémentaires, contrairement aux réseaux neuronaux quaternioniques utilisés pour des entrées 3D telles que les images couleur. En conséquence, la famille proposée de PHNNs fonctionne avec un nombre de paramètres libre réduit à 1/n par rapport à son équivalent dans le domaine réel. Nous démontrons la polyvalence de cette approche à travers des expériences menées sur diverses bases de données d’images ainsi que sur des bases de données audio, où notre méthode surpasser les variantes réelles et quaternioniques. Le code complet est disponible à l’adresse suivante : https://github.com/eleGAN23/HyperNets.