Verbesserte universelle Satz-Embeddings mit promptbasiertem kontrastivem Lernen und energiebasiertem Lernen

Kontrastives Lernen hat sich als wirksam erwiesen, um vortrainierte Sprachmodelle (PLMs) zu verbessern und hierdurch universelle Satzembeddings mit überlegener Qualität zu erzeugen. Dennoch weisen bestehende kontrastive Methoden zwei Einschränkungen auf. Erstens erzielen frühere Ansätze unter Bedingungen eines Domänenverschiebungs (domain shift) oft schlechte Leistungen, was die praktische Anwendung von Satzrepräsentationen beeinträchtigt. Wir weisen diese geringe Leistung auf die Überparametrisierung von PLMs mit Millionen von Parametern zurück. Um dies zu mildern, schlagen wir PromCSE (Prompt-basiertes kontrastives Lernen für Satzembeddings) vor, bei dem lediglich kleine, Soft Prompts (d. h. eine Menge trainierbarer Vektoren) optimiert werden, während die PLMs fixiert bleiben. Zweitens nutzt die üblicherweise eingesetzte NT-Xent-Verlustfunktion im kontrastiven Lernen im überwachten Lernsetting die sogenannten „schweren Negativen“ nicht vollständig aus. Um dies zu beheben, schlagen wir vor, eine energiebasierte Hinge-Verlustfunktion zu integrieren, um die paarweise Unterscheidungskraft zu erhöhen, wobei wir uns von der Verbindung zwischen der NT-Xent-Verlustfunktion und dem energiebasierten Lernparadigma inspirieren lassen. Experimentelle Ergebnisse auf sieben Standardaufgaben zur semantischen Textähnlichkeit (STS) sowie einer Aufgabe mit Domänenverschiebung belegen die Wirksamkeit unseres Ansatzes gegenüber aktuellen state-of-the-art-Modellen für Satzembeddings. Der Quellcode ist öffentlich unter https://github.com/YJiangcm/PromCSE verfügbar.