Zur Robustheit und Reproduzierbarkeit des aktiven Lernens mittels neuronalen Netzen

Aktives Lernen (Active Learning, AL) ist ein vielversprechendes Paradigma im maschinellen Lernen, das die Verarbeitung großer, unbeschrifteter Datensätze ermöglicht und dazu beitragen kann, die Kosten für die Datenannotation in Bereichen zu reduzieren, in denen die Beschriftung von Daten erschwerend oder gar unmöglich ist. Kürzlich vorgestellte, auf neuronalen Netzen basierende AL-Methoden nutzen unterschiedliche Heuristiken, um dieses Ziel zu erreichen. In dieser Studie zeigen wir, dass sich unter identischen experimentellen Bedingungen verschiedene Arten von AL-Algorithmen – auf Unsicherheit basierend, auf Vielfalt basierend sowie auf Komitee basierend – gegenüber der zufälligen Stichprobenziehung (random sampling baseline) unterschiedlich gut schlagen, wobei die Verbesserungen inkonsistent sind. Durch eine Vielzahl von Experimenten, bei denen die Quellen der Stochastizität kontrolliert wurden, zeigen wir, dass die Varianz der Leistungsmetriken, die von AL-Algorithmen erzielt werden, zu Ergebnissen führen kann, die mit früheren Berichten nicht übereinstimmen. Zudem stellen wir fest, dass unter starker Regularisierung AL-Methoden unter verschiedenen experimentellen Bedingungen nur geringfügige oder gar keine Vorteile gegenüber der zufälligen Stichprobenziehung aufweisen. Abschließend geben wir eine Reihe von Empfehlungen zur Beurteilung der Ergebnisse bei der Anwendung eines neuen AL-Algorithmus, um sicherzustellen, dass die Ergebnisse reproduzierbar und robust gegenüber Änderungen der experimentellen Bedingungen sind. Wir stellen unseren Code zur Verfügung, um die Evaluierung von AL-Methoden zu erleichtern. Wir sind überzeugt, dass unsere Erkenntnisse und Empfehlungen zur Förderung reproduzierbarer Forschung im Bereich des aktiven Lernens mit neuronalen Netzen beitragen werden. Unser Code ist unter https://github.com/PrateekMunjal/TorchAL als Open Source verfügbar.