SpeechPrompt v2: Prompt Tuning für Spracherkennungsaufgaben

Prompt Tuning ist eine Technologie, die eine kleine Menge an Parametern anpasst, um einen vortrainierten Sprachmodell (LM) direkt zur Generierung von Ausgaben für nachgeschaltete Aufgaben zu steuern. In jüngster Zeit hat sich das Prompt Tuning sowohl im Bereich der natürlichen Sprachverarbeitung (NLP) als auch in der Sprachverarbeitung durch hohe Speicher- und Rechen-Effizienz ausgezeichnet. Diese Vorteile machen es zu einem vielversprechenden Ansatz, vortrainierte Sprachmodelle einheitlich für eine Vielzahl von Aufgaben bereitzustellen. Für die Sprachverarbeitung zeigt SpeechPrompt eine hohe Parameter-Effizienz und konkurrenzfähige Leistung bei mehreren Sprachklassifizierungsaufgaben. Ob jedoch SpeechPrompt in der Lage ist, eine große Anzahl von Aufgaben zu unterstützen, bleibt bisher unklar. In dieser Arbeit präsentieren wir SpeechPrompt v2, einen Prompt-Tuning-Framework, der eine breite Palette von Sprachklassifizierungsaufgaben bewältigen kann, einschließlich mehrerer Sprachen und prosodischer Aufgaben. Die Experimente zeigen, dass SpeechPrompt v2 eine Leistung erreicht, die mit vorherigen Arbeiten vergleichbar ist, und zwar mit weniger als 0,15 Mio. trainierbaren Parametern in einem einheitlichen Rahmen.