HyperAIHyperAI

Command Palette

Search for a command to run...

Überwachtes Lernen universeller Satzrepräsentationen aus Daten zur natürlichsprachlichen Inferenz

Alexis Conneau; Douwe Kiela; Holger Schwenk; Loic Barrault; Antoine Bordes

Zusammenfassung

Viele moderne NLP-Systeme (Natural Language Processing) basieren auf Wort-Vektoren, die zuvor in einem unüberwachten Modus auf großen Korpora trainiert wurden, als Grundfunktionen. Bemühungen, Vektoren für größere Textabschnitte wie Sätze zu erhalten, waren jedoch weniger erfolgreich. Mehrere Versuche, unüberwachte Repräsentationen von Sätzen zu lernen, haben eine Leistung erzielt, die nicht ausreichend zufriedenstellend war, um weit verbreitet zu werden. In dieser Arbeit zeigen wir, wie universelle Satzrepräsentationen, die mit den überwachten Daten des Stanford Natural Language Inference-Datensatzes trainiert wurden, konsistent unüberwachte Methoden wie SkipThought-Vektoren bei einer Vielzahl von Transferaufgaben übertrumpfen können. Ebenso wie Computer Vision ImageNet verwendet, um Merkmale zu extrahieren, die dann auf andere Aufgaben übertragen werden können, deutet unsere Arbeit auf die Eignung der natürlichsprachlichen Inferenz für das Transferlernen auf andere NLP-Aufgaben hin. Unser Encoder ist öffentlich verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp