HyperAIHyperAI

Command Palette

Search for a command to run...

Universeller Satzencoder

Kenton Lee Jesse Vigil Chang Liu Pang-Wen Tsai

Zusammenfassung

Wir präsentieren Modelle zur Kodierung von Sätzen in Einbettungsvektoren, die speziell auf das Transferlernen zu anderen NLP-Aufgaben abzielen. Diese Modelle sind effizient und erzielen genaue Ergebnisse bei diversen Transferaufgaben. Zwei Varianten der Kodierungsmodelle ermöglichen Kompromisse zwischen Genauigkeit und Rechenressourcen. Für beide Varianten untersuchen und dokumentieren wir den Zusammenhang zwischen Modellkomplexität, Ressourcenverbrauch, Verfügbarkeit von Trainingsdaten für die Transferaufgabe und der Aufgabenerfolg. Vergleiche werden mit Baselines durchgeführt, die über vortrainierte Wort-Einbettungen auf Wortebene Transferlernen nutzen sowie Baselines, die überhaupt kein Transferlernen verwenden. Wir stellen fest, dass das Transferlernen mit Satz-Einbettungen tendenziell besser abschneidet als das Wortebenentransfer. Bei dem Transferlernen mittels Satz-Einbettungen beobachten wir überraschend gute Leistungen bei minimalen Mengen an überwachtem Trainingsdaten für eine Transferaufgabe. Wir erhalten ermutigende Ergebnisse bei den Word Embedding Association Tests (WEAT), die darauf abzielen, Modellverzerrungen zu erkennen. Unsere vortrainierten Satzkodierungsmodelle sind kostenlos zum Download und auf TF Hub verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp