Matching-Netzwerke für One-Shot-Lernen

Das Lernen aus wenigen Beispielen bleibt eine wichtige Herausforderung im maschinellen Lernen. Trotz neuer Fortschritte in wichtigen Bereichen wie Vision und Sprache bietet das standardmäßige überwachte Deep-Learning-Paradigma keine zufriedenstellende Lösung für das schnelle Erlernen neuer Konzepte aus wenig Daten. In dieser Arbeit nutzen wir Ideen des metrischen Lernens basierend auf tiefen neuronalen Merkmalen sowie jüngste Entwicklungen, die neuronale Netze mit externen Speichern erweitern. Unser Rahmenwerk lernt ein Netzwerk, das einen kleinen, beschrifteten Support-Set und ein unbezeichnetes Beispiel auf dessen Beschriftung abbildet, wodurch die Notwendigkeit der Feinabstimmung zur Anpassung an neue Klassentypen entfällt. Wir definieren dann One-Shot-Lernprobleme in visuellen (mit Omniglot, ImageNet) und sprachlichen Aufgaben. Unser Algorithmus verbessert die One-Shot-Akkuranz auf ImageNet von 87,6 % auf 93,2 % und von 88,0 % auf 93,8 % auf Omniglot im Vergleich zu konkurrierenden Ansätzen. Wir zeigen außerdem die Nützlichkeit des gleichen Modells im Bereich der Sprachmodellierung durch die Einführung einer One-Shot-Aufgabe am Penn Treebank.