CSVC-Net: Code-Switched Voice Command Classification mittels tiefer CNN-LSTM-Netzwerk

Bengalisch in der Umgangssprache hat aufgrund kolonialer Einflüsse zahlreiche englische Wörter übernommen. In der alltäglichen Gespräche ist es sehr häufig, zwischen Bengali und Englisch zu wechseln – ein Phänomen, das als Code-Switching (CS) bezeichnet wird. Um in dieser Ära, in der die Verwendung von Code-Switching stetig zunimmt, einen Sprachbefehls-Klassifikator zu entwickeln, ist es oft notwendig, einen einzelnen Basisbefehl auf dessen vielfältige Varianten abzubilden, die in unterschiedlichen Mischformen beider Sprachen gesprochen werden. Bisherige Arbeiten zum bengalischen Sprachgebrauch konzentrieren sich hauptsächlich auf die Klassifikation einzelner Wörter und sind in der Regel nicht in der Lage, komplexe semantische Beziehungen innerhalb von Sätzen zu erfassen. In dieser Arbeit wird „CSVC-Net“ vorgestellt, ein Architekturansatz auf Basis von CNN-LSTM zur Klassifikation gesprochener Befehle, die Code-Switching zwischen Bengali und Englisch aufweisen. Um die reale Nutzungssituation adäquat zu reflektieren, wird zudem ein neu zusammengestelltes Datenset namens „Banglish“ vorgestellt, das 3.840 Audio-Dateien von gesprochenen Computerbefehlen aus 11 Klassen umfasst, wobei insgesamt 64 Variationen berücksichtigt wurden. Der vorgeschlagene Pipeline-Prozess leitet das Eingabesignal über eine Reihe geeigneter Transformationen und Augmentations-Schritte, wodurch das Modell eine Genauigkeit von 92,08 % auf dem neu erstellten Datenset erreicht. Darüber hinaus wird die Robustheit des vorgeschlagenen Modells durch Vergleiche mit verschiedenen Architekturen und Tests unter unterschiedlichen Rauschbedingungen bestätigt, wobei eine überzeugende Genauigkeit erzielt wird, was die Anwendbarkeit des Modells in realen Szenarien unterstreicht.