HyperAIHyperAI

Command Palette

Search for a command to run...

EasyCom: Ein Dataset für erweiterte Realität zur Unterstützung von Algorithmen für eine einfache Kommunikation in lauten Umgebungen

Jacob Donley Vladimir Tourbabin Jung-Suk Lee Mark Broyles Hao Jiang Jie Shen Maja Pantic Vamsi Krishna Ithapu Ravish Mehra

Zusammenfassung

Augmented Reality (AR) als Plattform verfügt über das Potenzial, die Reduktion des Cocktail-Party-Effekts zu unterstützen. Zukünftige AR-Headsets könnten Informationen aus einer Vielzahl von Sensoren verschiedener Modalitäten nutzen. Die Entwicklung und Bewertung von Signalverarbeitungs- und maschinellen Lernalgorithmen für Aufgaben wie Beamforming und Sprachverbesserung erfordert hochwertige, repräsentative Datensätze. Sofern die Kenntnis des Autors reicht, existierten zum Zeitpunkt der Veröffentlichung keine verfügbaren Datensätze, die synchronisierte, egozentrische, mehrkanalige Audio- und Videoaufnahmen mit dynamischer Bewegung und Gesprächen in einer lauten Umgebung enthalten. In dieser Arbeit beschreiben, bewerten und veröffentlichen wir einen Datensatz mit über fünf Stunden multimodalen Daten, die zur Schulung und Bewertung von Algorithmen zur Verbesserung von Gesprächen für Nutzer von AR-Brillen geeignet sind. Wir präsentieren Ergebnisse zur Sprachverständlichkeit, -qualität und Verbesserung des Signal-Rausch-Verhältnisses für eine Baseline-Methode und zeigen Verbesserungen in allen getesteten Metriken. Der veröffentlichte Datensatz umfasst egozentrische, mehrkanalige Audioaufnahmen mittels Mikrofonarray in AR-Brillen, Videoaufnahmen mit großem Sichtfeld in RGB, Pose der Sprachquellen, Audioaufnahmen von Kopfhörermikrofonen, annotierte Sprachaktivität, Sprachtranskriptionen, Kopf-Bounding-Boxes, sowie Labels zur Identifikation des Gesprächspartners und der Sprachquelle. Wir haben diesen Datensatz erstellt und veröffentlichen ihn, um die Forschung zu multimodalen AR-Lösungen für das Cocktail-Party-Problem zu fördern.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp