Unüberwachtes Merkmalslernen durch nichtparametrische Instanzdiskriminierung

Neuronale Netze, die auf Daten mit annotierten Klassifikationslabels trainiert wurden, können auch offensichtliche visuelle Ähnlichkeiten zwischen Kategorien erfassen, ohne explizit dazu angewiesen zu werden. In dieser Studie untersuchen wir, ob diese Beobachtung über den konventionellen Bereich des überwachten Lernens hinaus erweitert werden kann: Können wir durch das bloße Verlangen nach einer diskriminierenden Merkmalsrepräsentation für einzelne Instanzen eine gute Merkmalsrepräsentation lernen, die offensichtliche Ähnlichkeiten zwischen Instanzen und nicht zwischen Klassen erfasst? Wir formulieren diese Intuition als ein nichtparametrisches Klassifikationsproblem auf der Instanzenebene und verwenden die Noise-Contrastive Estimation (NCE), um die durch die große Anzahl von Instanzklassen auferlegten rechnerischen Herausforderungen zu bewältigen. Unsere experimentellen Ergebnisse zeigen, dass unser Ansatz unter unüberwachten Lernbedingungen den aktuellen Stand der Technik bei der ImageNet-Klassifikation deutlich übertreffen kann. Unser Verfahren zeichnet sich auch dadurch aus, dass es konsistent bessere Testergebnisse bei mehr Trainingsdaten und verbesserten Netzarchitekturen liefert. Durch das Feinjustieren der gelernten Merkmale erzielen wir zudem wettbewerbsfähige Ergebnisse in semi-überwachten Lernaufgaben und Objekterkennungsaufgaben. Unser nichtparametrisches Modell ist sehr kompakt: Mit 128 Merkmalen pro Bild benötigt unsere Methode nur 600 MB Speicherplatz für eine Million Bilder, was eine schnelle Nachbarschaftssuche zur Laufzeit ermöglicht.