Seltenheitsereignisse lernen zu merken

Trotz jüngster Fortschritte sind memorierte Deep Neural Networks (memory-augmented deep neural networks) bei lebenslangem und One-Shot-Lernen noch eingeschränkt, insbesondere bei der Erinnerung an seltene Ereignisse. Wir stellen ein groß angelegtes lebenslanges Memory-Modul für den Einsatz im Deep Learning vor. Das Modul nutzt effiziente nearest-neighbor-Algorithmen und kann daher auf große Speichergrößen skaliert werden. Abgesehen von der nearest-neighbor-Anfrage ist das Modul vollständig differenzierbar und wird ohne zusätzliche Aufsicht end-to-end trainiert. Es arbeitet in einem lebenslangen Modus, d.h., es muss während des Trainings nicht zurückgesetzt werden.Unser Memory-Modul kann leicht zu jedem Teil eines überwachten neuronalen Netzes hinzugefügt werden. Um seine Vielseitigkeit zu demonstrieren, fügen wir es einer Reihe von Netzwerken hinzu, von einfachen Faltungsnetzen, die bei der Bildklassifizierung getestet wurden, bis hin zu tiefen sequenzbasierten und rekurrent-faltenden Modellen. In allen Fällen gewinnt das erweiterte Netzwerk die Fähigkeit, sich an Trainingsexemplare zu erinnern und lebenslanges One-Shot-Lernen durchzuführen. Unser Modul erinnert sich an Trainingsexemplare, die viele Tausend Schritte in der Vergangenheit gezeigt wurden, und es kann erfolgreich von ihnen generalisieren. Wir setzen einen neuen Stand der Technik für One-Shot-Lernen am Omniglot-Datensatz und zeigen zum ersten Mal lebenslanges One-Shot-Lernen in rekurrenten neuronalen Netzen bei einer großen maschinellen Übersetzaufgabe.