CrowdSpeech und VoxDIY: Benchmark-Datensätze für die Transkription von Audiowiedergaben durch die Crowd

Domänenbezogene Daten sind der Schlüssel für den erfolgreichen Transfer von maschinellen Lernsystemen von Benchmarks ins reale Leben. Bei einfachen Aufgaben wie der Bildklassifizierung ist das Crowdsourcing zu einem der Standardwerkzeuge für kostengünstige und zeit-effiziente Datensammlung geworden – im großen Maße dank Fortschritten in der Forschung zu Aggregationsmethoden. Die Anwendbarkeit des Crowdsourcings auf komplexere Aufgaben (z.B. Spracherkennung) bleibt jedoch aufgrund des Mangels an praxisnahen Aggregationsmethoden für diese Modalitäten begrenzt. Das Haupthindernis bei der Entwicklung von Aggregationsmethoden für fortschrittlichere Anwendungen ist das Fehlen von Trainingsdaten, und in dieser Arbeit konzentrieren wir uns darauf, diese Lücke in der Spracherkennung zu schließen. Dazu sammeln und veröffentlichen wir CrowdSpeech – den ersten öffentlich zugänglichen Großdatensatz mit Crowdsourced-Audio-Transkriptionen. Die Auswertung bestehender und neuer Aggregationsmethoden anhand unserer Daten zeigt Verbesserungspotenzial, was darauf hindeutet, dass unsere Arbeit die Entwicklung besserer Algorithmen fördern könnte. Auf einer höheren Ebene tragen wir auch zur allgemeineren Herausforderung bei, Methodiken für verlässliche Datensammlung durch Crowdsourcing zu entwickeln. Hierfür entwerfen wir eine präzise Pipeline zur Erstellung von Datensätzen mit Crowdsourced-Audio-Transkriptionen in jedem neuen Bereich. Wir demonstrieren ihre Anwendbarkeit an einem unterbeschäftigten Sprachraum durch die Erstellung von VoxDIY – einem Pendant zu CrowdSpeech für die russische Sprache. Zudem veröffentlichen wir den Code, der eine vollständige Reproduktion unseres Datensammlungsprozesses ermöglicht, und teilen verschiedene Erkenntnisse über beste Praktiken bei der Datensammlung durch Crowdsourcing.