HyperAIHyperAI

Command Palette

Search for a command to run...

CLEAR: Kontrastives Lernen für Satzrepräsentationen

Zhuofeng Wu Sinong Wang Jiatao Gu Madian Khabsa Fei Sun Hao Ma

Zusammenfassung

Vortrainierte Sprachmodelle haben ihre einzigartigen Fähigkeiten bei der Erfassung impliziter Sprachmerkmale unter Beweis gestellt. Die meisten Vortrainierungsansätze konzentrieren sich jedoch auf Wort-Ebene-Trainingsoptimierungen, während Sätzebene-Ziele selten untersucht werden. In diesem Paper stellen wir CLEAR (Contrastive LEArning for sentence Representation) vor, ein Ansatz, der mehrere auf Satzebene basierende Augmentierungsstrategien nutzt, um eine rauschunabhängige Satzrepräsentation zu lernen. Zu diesen Augmentierungen zählen das Löschen von Wörtern und Wortblöcken, das Umordnen von Wortfolgen sowie das Ersetzen von Wörtern. Zudem untersuchen wir durch zahlreiche Experimente die entscheidenden Faktoren, die kontrastives Lernen effektiv machen. Wir beobachten, dass verschiedene Satz-Augmentierungen während des Vortrainings zu unterschiedlichen Leistungssteigerungen bei verschiedenen Downstream-Aufgaben führen. Unser Ansatz zeigt sich auf den Benchmarks SentEval und GLUE gegenüber mehreren bestehenden Methoden überlegen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp