CLEAR: Kontrastives Lernen für Satzrepräsentationen

Vortrainierte Sprachmodelle haben ihre einzigartigen Fähigkeiten bei der Erfassung impliziter Sprachmerkmale unter Beweis gestellt. Die meisten Vortrainierungsansätze konzentrieren sich jedoch auf Wort-Ebene-Trainingsoptimierungen, während Sätzebene-Ziele selten untersucht werden. In diesem Paper stellen wir CLEAR (Contrastive LEArning for sentence Representation) vor, ein Ansatz, der mehrere auf Satzebene basierende Augmentierungsstrategien nutzt, um eine rauschunabhängige Satzrepräsentation zu lernen. Zu diesen Augmentierungen zählen das Löschen von Wörtern und Wortblöcken, das Umordnen von Wortfolgen sowie das Ersetzen von Wörtern. Zudem untersuchen wir durch zahlreiche Experimente die entscheidenden Faktoren, die kontrastives Lernen effektiv machen. Wir beobachten, dass verschiedene Satz-Augmentierungen während des Vortrainings zu unterschiedlichen Leistungssteigerungen bei verschiedenen Downstream-Aufgaben führen. Unser Ansatz zeigt sich auf den Benchmarks SentEval und GLUE gegenüber mehreren bestehenden Methoden überlegen.