HyperAIHyperAI

Command Palette

Search for a command to run...

Exploiter la redondance : Réseaux de neurones à convolutions de groupe séparables sur les groupes de Lie

David M. Knigge David W. Romero Erik J. Bekkers

Résumé

Les réseaux de neurones convolutionnels par groupes (G-CNNs) ont démontré leur capacité à augmenter l'efficacité des paramètres et la précision du modèle en intégrant des biais inductifs géométriques. Dans cette étude, nous examinons les propriétés des représentations apprises par des G-CNNs réguliers et montrons une redondance considérable des paramètres dans les noyaux de convolution par groupes. Cette découverte motive une liaison supplémentaire des poids en partageant les noyaux de convolution sur les sous-groupes. À cet effet, nous introduisons des noyaux de convolution séparables sur les dimensions des sous-groupes et des canaux. Pour obtenir une équivariance à des groupes de Lie affines arbitraires, nous fournissons une paramétrisation continue de noyaux de convolution séparables. Nous évaluons notre approche sur plusieurs ensembles de données visuels et montrons que le partage de poids améliore les performances et l'efficacité computationnelle. Dans de nombreux cas, les G-CNNs séparables surpassent leurs homologues non séparables tout en utilisant seulement une fraction du temps d'entraînement. De plus, grâce à l'augmentation de l'efficacité computationnelle, nous sommes capables d'implémenter des G-CNNs équivariants au groupe Sim(2)\mathrm{Sim(2)}Sim(2) ; le groupe comprenant les dilatations, rotations et translations. L'équivariance Sim(2)\mathrm{Sim(2)}Sim(2) améliore encore davantage les performances sur toutes les tâches considérées.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Exploiter la redondance : Réseaux de neurones à convolutions de groupe séparables sur les groupes de Lie | Articles | HyperAI