Lernverlust für aktives Lernen

Die Leistung tiefster neuronaler Netze verbessert sich mit mehr annotierten Daten. Das Problem dabei ist, dass das Budget für die Annotation begrenzt ist. Eine Lösung hierfür ist das aktive Lernen, bei dem ein Modell Menschen bittet, Daten zu annotieren, die es als unsicher wahrnimmt. In den letzten Jahren wurden verschiedene Methoden vorgeschlagen, um aktives Lernen auf tiefe Netze anzuwenden, aber die meisten sind entweder spezifisch für ihre Zielaufgaben gestaltet oder rechnerisch ineffizient für große Netze. In dieser Arbeit schlagen wir eine neuartige Methode des aktiven Lernens vor, die einfach und aufgabeneutral ist und effizient mit tiefen Netzen arbeitet. Wir fügen einem Zielnetz ein kleines parametrisches Modul hinzu, das als "Verlustvorhersagemodul" bezeichnet wird, und trainieren es, um die Verluste von nicht beschrifteten Eingaben vorherzusagen. Anschließend kann dieses Modul Daten vorschlagen, bei denen das Zielmodell wahrscheinlich eine falsche Vorhersage treffen wird. Diese Methode ist aufgabeneutral, da die Netze unabhängig von den Zielaufgaben aus einem einzigen Verlust gelernt werden. Wir überprüfen unsere Methode streng durch Bildklassifizierung, Objekterkennung und Schätzungen der menschlichen Körperhaltung unter Verwendung neuer Netzarchitekturen. Die Ergebnisse zeigen, dass unsere Methode konsistent bessere Leistungen als die bisherigen Methoden in den verschiedenen Aufgaben erzielt.