TEASEL: Ein auf Transformers basierender sprachpräfixierter Sprachmodell

Multimodale Sprachanalyse ist ein wachstumsstarker Bereich der natürlichen Sprachverarbeitung (NLP), der darauf abzielt, gleichzeitig die Worte eines Sprechers, akustische Annotationen und Gesichtsausdrücke zu modellieren. In diesem Bereich übertrifft der Lexikon-Modus üblicherweise andere Modalitäten, da er auf großen Korpora mittels Transformer-basierter Modelle vortrainiert wurde. Trotz ihrer hervorragenden Leistung ist die Schulung eines neuen selbstüberwachten Lernens (SSL)-Transformer-Modells für jede Modality in der Regel nicht möglich, da die Datenmenge unzureichend ist – ein häufiges Problem in der multimodalen Sprachverarbeitung. In dieser Arbeit wird ein Transformer-basiertes Sprachpräfix-Modell namens TEASEL vorgestellt, das die genannten Einschränkungen adressiert, ohne ein vollständiges Transformer-Modell zu trainieren. Im Gegensatz zu herkömmlichen Sprachmodellen integriert das TEASEL-Modell die Sprachmodalität als dynamisches Präfix neben der textuellen Modalität. Diese Methode nutzt ein herkömmliches, vortrainiertes Sprachmodell als Kreuzmodalitäts-Transformer-Modell. Wir haben TEASEL anhand der multimodalen Sentimentanalyse-Aufgabe des CMU-MOSI-Datensatzes evaluiert. Umfangreiche Experimente zeigen, dass unser Modell unimodale Baseline-Sprachmodelle um 4 Prozentpunkte und den aktuellen multimodalen State-of-the-Art (SoTA)-Modell um 1 Prozentpunkt im F1-Score übertrifft. Zudem ist unsere vorgeschlagene Methode um 72 Prozent kleiner als das SoTA-Modell.