HyperAIHyperAI

Command Palette

Search for a command to run...

Verbesserte universelle Satz-Embeddings mit promptbasiertem kontrastivem Lernen und energiebasiertem Lernen

Yuxin Jiang Linhan Zhang Wei Wang

Zusammenfassung

Kontrastives Lernen hat sich als wirksam erwiesen, um vortrainierte Sprachmodelle (PLMs) zu verbessern und hierdurch universelle Satzembeddings mit überlegener Qualität zu erzeugen. Dennoch weisen bestehende kontrastive Methoden zwei Einschränkungen auf. Erstens erzielen frühere Ansätze unter Bedingungen eines Domänenverschiebungs (domain shift) oft schlechte Leistungen, was die praktische Anwendung von Satzrepräsentationen beeinträchtigt. Wir weisen diese geringe Leistung auf die Überparametrisierung von PLMs mit Millionen von Parametern zurück. Um dies zu mildern, schlagen wir PromCSE (Prompt-basiertes kontrastives Lernen für Satzembeddings) vor, bei dem lediglich kleine, Soft Prompts (d. h. eine Menge trainierbarer Vektoren) optimiert werden, während die PLMs fixiert bleiben. Zweitens nutzt die üblicherweise eingesetzte NT-Xent-Verlustfunktion im kontrastiven Lernen im überwachten Lernsetting die sogenannten „schweren Negativen“ nicht vollständig aus. Um dies zu beheben, schlagen wir vor, eine energiebasierte Hinge-Verlustfunktion zu integrieren, um die paarweise Unterscheidungskraft zu erhöhen, wobei wir uns von der Verbindung zwischen der NT-Xent-Verlustfunktion und dem energiebasierten Lernparadigma inspirieren lassen. Experimentelle Ergebnisse auf sieben Standardaufgaben zur semantischen Textähnlichkeit (STS) sowie einer Aufgabe mit Domänenverschiebung belegen die Wirksamkeit unseres Ansatzes gegenüber aktuellen state-of-the-art-Modellen für Satzembeddings. Der Quellcode ist öffentlich unter https://github.com/YJiangcm/PromCSE verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Verbesserte universelle Satz-Embeddings mit promptbasiertem kontrastivem Lernen und energiebasiertem Lernen | Paper | HyperAI