HyperAIHyperAI

Command Palette

Search for a command to run...

Représentations spectrales pour les réseaux de neurones convolutifs

Oren Rippel; Jasper Snoek; Ryan P. Adams

Résumé

Les transformations de Fourier discrètes offrent une accélération considérable dans le calcul des convolutions en apprentissage profond. Dans ce travail, nous démontrons que, outre ses avantages pour un calcul efficace, le domaine spectral fournit également une représentation puissante pour modéliser et entraîner les réseaux de neurones convolutifs (CNN).Nous utilisons des représentations spectrales pour introduire plusieurs innovations dans la conception des CNN. Premièrement, nous proposons le regroupement spectral (spectral pooling), qui effectue une réduction de dimensionnalité par troncature de la représentation dans le domaine fréquentiel. Cette approche préserve beaucoup plus d'informations par paramètre que d'autres stratégies de regroupement et offre une flexibilité dans le choix de la dimensionnalité de sortie du regroupement. Cette représentation permet également une nouvelle forme de régularisation stochastique par modification aléatoire de la résolution. Nous montrons que ces méthodes obtiennent des résultats compétitifs sur des tâches de classification et d'approximation, sans utiliser aucune technique de dropout ou de max-pooling.Enfin, nous démontrons l'efficacité de la paramétrisation spectrale à coefficients complexes des filtres convolutifs. Bien que cela n'altère pas le modèle sous-jacent, cela aboutit à une représentation qui facilite grandement l'optimisation. Nous observons sur diverses configurations populaires de CNN que cela conduit à une convergence significativement plus rapide lors de l'entraînement.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp