Hierarchische Aussprachewertung mit mehrfacher Aspektbetrachtung

Die automatische Aussprachebewertung ist ein wesentlicher Bestandteil eines computergestützten Aussprachetrainingsystems. Um detaillierte Rückmeldungen zu geben, ist es notwendig, die Aussprache auf verschiedenen Granularitätsebenen wie Phonem, Wort und Satz mit unterschiedlichen Aspekten wie Genauigkeit, Flüssigkeit und Vollständigkeit zu bewerten. Bestehende Methoden zur Mehraspekt-Mehrgranularitätsbewertung prognostizieren jedoch gleichzeitig alle Aspekte auf allen Granularitätsebenen; daher haben sie Schwierigkeiten, die linguistische Hierarchie von Phonem, Wort und Satz zu erfassen. Diese Einschränkung führt zudem dazu, dass enge Beziehungen zwischen den Aspekten innerhalb der gleichen linguistischen Einheit vernachlässigt werden. In dieser Arbeit schlagen wir ein Modell für hierarchische Aussprachebewertung mit mehrfacher Aspekt-Aufmerksamkeit (HiPAMA) vor, das die Granularitätsebenen hierarchisch darstellt, um ihre linguistischen Strukturen direkt zu erfassen, und eine mehrfache Aspekt-Aufmerksamkeit einführt, die Beziehungen zwischen den Aspekten auf der gleichen Ebene widerspiegelt, um reichhaltigere Darstellungen zu erstellen. Durch die Gewinnung relationaler Informationen sowohl von der Granularitäts- als auch von der Aspektseite kann HiPAMA den Vorteilen des Multi-Task-Learnings vollständig nutzen. Bemerkenswerte Verbesserungen in den experimentellen Ergebnissen auf den Datensätzen von SpeechOcean762 belegen die Robustheit von HiPAMA, insbesondere bei schwer zu bewertenden Aspekten.