Apprendre à Se souvenir des Événements Rares

Malgré les récentes avancées, les réseaux neuronaux profonds augmentés en mémoire restent limités lorsqu'il s'agit d'apprentissage tout au long de la vie et d'apprentissage par une seule présentation, en particulier dans le domaine du souvenir des événements rares. Nous présentons un module de mémoire à grande échelle conçu pour être utilisé dans l'apprentissage profond. Ce module exploite des algorithmes de recherche des plus proches voisins rapides pour améliorer son efficacité, ce qui lui permet de s'adapter à de grandes tailles de mémoire. À l'exception de la requête des plus proches voisins, le module est entièrement différentiable et formé de manière end-to-end sans supervision supplémentaire. Il fonctionne de manière continue tout au long de la vie, c'est-à-dire sans nécessité de le réinitialiser pendant l'entraînement.Notre module de mémoire peut être facilement intégré à n'importe quelle partie d'un réseau neuronal supervisé. Pour démontrer sa polyvalence, nous l'avons ajouté à plusieurs types de réseaux, allant des réseaux convolutifs simples testés sur la classification d'images aux modèles séquence-à-séquence profonds et aux modèles récurrents-convolutifs. Dans tous les cas, le réseau amélioré acquiert la capacité de se souvenir et d'effectuer un apprentissage par une seule présentation tout au long de la vie. Notre module se souvient des exemples d'entraînement présentés il y a plusieurs milliers d'étapes et peut généraliser avec succès à partir d'eux. Nous établissons un nouveau niveau d'excellence pour l'apprentissage par une seule présentation sur le jeu de données Omniglot et démontrons, pour la première fois, l'apprentissage par une seule présentation tout au long de la vie dans les réseaux neuronaux récurrents sur une tâche d'traduction automatique à grande échelle.