HyperAIHyperAI

Command Palette

Search for a command to run...

Mécanismes indépendants récurrents

Anirudh Goyal Alex Lamb Jordan Hoffmann Shagun Sodhani Sergey Levine Yoshua Bengio Bernhard Schölkopf

Résumé

Apprendre des structures modulaires qui reflètent la dynamique de l’environnement peut conduire à une meilleure généralisation et une plus grande robustesse aux changements affectant uniquement quelques-unes des causes sous-jacentes. Nous proposons les Mécanismes Indépendants Récurrents (RIMs), une nouvelle architecture récurrente dans laquelle plusieurs groupes de cellules récurrentes évoluent selon des dynamiques de transition presque indépendantes, ne communiquent qu’occasionnellement via un goulot d’étranglement d’attention, et ne sont mises à jour qu’aux instants où elles sont le plus pertinentes. Nous montrons que cela favorise une spécialisation parmi les RIMs, ce qui permet une amélioration marquée de la généralisation sur des tâches où certains facteurs de variation diffèrent de manière systématique entre l’apprentissage et l’évaluation.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp