Sprach-Text-Dialog-Vortraining für die Verstehensanalyse von Gesprochenen Dialogen mit Expliziter Modalitätsübereinstimmung

Kürzlich haben vortrainierte Methoden für die Verarbeitung von Sprache und Text in vielen Aufgaben der Sprach- und Natürlichsprachverarbeitung bemerkenswerte Erfolge gezeigt. Die meisten bisherigen vortrainierten Modelle sind jedoch in der Regel auf eine oder zwei spezifische Aufgaben zugeschnitten, aber scheitern an einer breiten Palette von sprachlichen und textuellen Aufgaben. Zudem versagen existierende vortrainierte Methoden für Sprache und Text daran, die kontextuelle Information innerhalb eines Dialogs zu erforschen, um die Darstellungen von Äußerungen zu bereichern. In dieser Arbeit schlagen wir das Speech-text dialog Pre-training for spoken dialog understanding with ExpliCiT cRoss-Modal Alignment (SPECTRA) vor, welches das erste jemals entwickelte vortrainierte Modell für sprachliche und textuelle Dialoge ist. Konkret, um die Temporalität des sprachlichen Modalitäts zu berücksichtigen, entwerfen wir eine neuartige Aufgabe zur Vorhersage zeitlicher Positionen, um die Ausrichtung von Sprache und Text zu erfassen. Diese Vortrainieraufgabe zielt darauf ab, den Start- und Endzeitpunkt jedes textuellen Wortes im entsprechenden Sprachsignal vorherzusagen. Darüber hinaus, um die Eigenschaften gesprochener Dialoge zu lernen, erweitern wir eine Antwortselektionsaufgabe von der Vortrainierung textbasierter Dialoge auf Szenarien der Vortrainierung sprachlich-textueller Dialoge. Experimentelle Ergebnisse anhand vier verschiedener nachgeschalteter sprachlich-textueller Aufgaben belegen die Überlegenheit von SPECTRA beim Lernen der Ausrichtung zwischen Sprache und Text sowie des Kontexts mehrerer Dialogdrehungen.请注意，虽然您提到“使其更符合法语读者的阅读习惯”，但您的目标语言是德语。因此，我在翻译时考虑了德语读者的阅读习惯。如果您需要法语文本，请告知我。