HyperAIHyperAI

Command Palette

Search for a command to run...

Harmonizität spielt eine entscheidende Rolle bei DNN-basierten im Vergleich zu biologisch inspirierten monauralen Sprachsegmentierungssystemen

Rahil Parikh Ilya Kavalerov Carol Espy-Wilson Shihab Shamma

Zusammenfassung

Neuere Fortschritte im Bereich des Deep Learning haben zu erheblichen Verbesserungen bei Sprachsegmentierungsmodellen geführt. Trotz ihres Erfolgs und ihrer zunehmenden Anwendbarkeit wurden bisher nur wenige Bemühungen unternommen, die zugrundeliegenden Prinzipien zu analysieren, die diese Netzwerke lernen, um die Segmentierung durchzuführen. In dieser Studie untersuchen wir die Rolle der Harmonizität an zwei führenden Deep Neural Network (DNN)-basierten Modellen – Conv-TasNet und DPT-Net. Wir bewerten ihre Leistung an Mischungen natürlicher Sprache im Vergleich zu leicht manipulierten, inharmonischen Sprachsignalen, bei denen die Harmonischen leicht frequenzgestört (frequency jittered) sind. Wir stellen fest, dass die Leistung erheblich abnimmt, wenn nur eine Quelle leicht harmonisch gestört ist: bereits eine kaum wahrnehmbare 3%-ige Harmonik-Störung verschlechtert die Leistung von Conv-TasNet von 15,4 dB auf 0,70 dB. Die Schulung des Modells auf inharmonischen Sprachsignalen behebt diese Empfindlichkeit nicht, sondern führt stattdessen zu einer schlechteren Leistung bei natürlichen Sprachmischungen, was die Inharmonizität zu einem wirksamen adversariellen Faktor in DNN-Modellen macht. Zudem zeigen zusätzliche Analysen, dass DNN-Algorithmen sich deutlich von biologisch inspirierten Algorithmen unterscheiden, die sich primär auf zeitliche Hinweise stützen und nicht auf die Harmonizität zur Sprachsegmentierung.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp