HyperAIHyperAI

Command Palette

Search for a command to run...

SimCSE: Einfache kontrastive Lernmethode für Satz-Embeddings

Tianyu Gao Xingcheng Yao Danqi Chen

Zusammenfassung

Diese Arbeit präsentiert SimCSE, einen einfachen contrastiven Lernansatz, der die Stand der Technik bei Satz-Embeddings erheblich voranbringt. Zunächst beschreiben wir einen unsupervisierten Ansatz, bei dem ein Eingabesatz im Rahmen eines contrastiven Zielfunktionals sich selbst vorhersagen soll, wobei lediglich standardmäßiger Dropout als Rauschquelle verwendet wird. Diese einfache Methode zeigt überraschend gute Ergebnisse und erreicht eine Leistung, die mit früheren supervisierten Ansätzen vergleichbar ist. Wir stellen fest, dass Dropout als minimale Datenverstärkung fungiert, und deren Entfernung zu einer Darstellungskollaps führt. Anschließend schlagen wir einen supervisierten Ansatz vor, der annotierte Paare aus natürlichsprachlichen Inferenzdatensätzen in unseren contrastiven Lernrahmen integriert, indem „Implikations“-Paare als positive Beispiele und „Widerspruchs“-Paare als schwierige Negative verwendet werden. Wir evaluieren SimCSE auf Standardaufgaben zur semantischen Textähnlichkeit (STS), und unsere unsupervisierten und supervisierten Modelle auf Basis von BERT base erreichen jeweils durchschnittlich 76,3 % und 81,6 % Korrelation nach Spearman – eine Verbesserung um 4,2 % bzw. 2,2 % gegenüber den vorherigen besten Ergebnissen. Zudem zeigen wir – sowohl theoretisch als auch empirisch –, dass das contrastive Lernziel die anisotrope Struktur der vortrainierten Embeddings regularisiert und sie gleichmäßiger macht, und dass es positive Paare besser ausrichtet, wenn supervisierte Signale verfügbar sind.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
SimCSE: Einfache kontrastive Lernmethode für Satz-Embeddings | Paper | HyperAI