EasyCom: Ein Dataset für erweiterte Realität zur Unterstützung von Algorithmen für eine einfache Kommunikation in lauten Umgebungen

Augmented Reality (AR) als Plattform verfügt über das Potenzial, die Reduktion des Cocktail-Party-Effekts zu unterstützen. Zukünftige AR-Headsets könnten Informationen aus einer Vielzahl von Sensoren verschiedener Modalitäten nutzen. Die Entwicklung und Bewertung von Signalverarbeitungs- und maschinellen Lernalgorithmen für Aufgaben wie Beamforming und Sprachverbesserung erfordert hochwertige, repräsentative Datensätze. Sofern die Kenntnis des Autors reicht, existierten zum Zeitpunkt der Veröffentlichung keine verfügbaren Datensätze, die synchronisierte, egozentrische, mehrkanalige Audio- und Videoaufnahmen mit dynamischer Bewegung und Gesprächen in einer lauten Umgebung enthalten. In dieser Arbeit beschreiben, bewerten und veröffentlichen wir einen Datensatz mit über fünf Stunden multimodalen Daten, die zur Schulung und Bewertung von Algorithmen zur Verbesserung von Gesprächen für Nutzer von AR-Brillen geeignet sind. Wir präsentieren Ergebnisse zur Sprachverständlichkeit, -qualität und Verbesserung des Signal-Rausch-Verhältnisses für eine Baseline-Methode und zeigen Verbesserungen in allen getesteten Metriken. Der veröffentlichte Datensatz umfasst egozentrische, mehrkanalige Audioaufnahmen mittels Mikrofonarray in AR-Brillen, Videoaufnahmen mit großem Sichtfeld in RGB, Pose der Sprachquellen, Audioaufnahmen von Kopfhörermikrofonen, annotierte Sprachaktivität, Sprachtranskriptionen, Kopf-Bounding-Boxes, sowie Labels zur Identifikation des Gesprächspartners und der Sprachquelle. Wir haben diesen Datensatz erstellt und veröffentlichen ihn, um die Forschung zu multimodalen AR-Lösungen für das Cocktail-Party-Problem zu fördern.