Processus neuronaux à attention stochastique : accorder davantage d'attention au jeu de données de contexte

Les processus neuronaux (NPs) visent à compléter de manière stochastique des points de données inédits à partir d’un ensemble de données contextuelles donné. Les NPs exploitent fondamentalement un ensemble de données donné comme représentation contextuelle afin d’obtenir un identifiant adéquat pour une tâche nouvelle. Afin d’améliorer la précision des prédictions, de nombreuses variantes des NPs ont exploré des approches d’encodage contextuel, généralement en concevant de nouvelles architectures de réseaux et des fonctions d’agrégation invariantes par permutation. Dans ce travail, nous proposons un mécanisme d’attention stochastique pour les NPs, permettant de capturer efficacement les informations contextuelles pertinentes. Du point de vue de la théorie de l’information, nous démontrons que la méthode proposée encourage l’encodage contextuel à être distinct de l’ensemble de données cible, permettant ainsi aux NPs de considérer indépendamment les caractéristiques présentes dans l’ensemble cible et l’encodage contextuel. Nous observons que la méthode proposée parvient à capturer adéquatement l’encodage contextuel même en présence de données bruitées ou de distributions de tâches restreintes, situations où les NPs classiques souffrent d’un manque d’encodages contextuels. De manière empirique, nous montrons que notre approche surpasse de manière significative les NPs conventionnels dans divers domaines, notamment à travers des expériences de régression en 1D, un modèle prédateur-proie et une tâche de complétion d’image. En outre, la méthode proposée est également validée sur le jeu de données MovieLens-10k, un problème réel du monde réel.