HyperAIHyperAI

Command Palette

Search for a command to run...

Skip-Thought Vektoren

Ryan Kiros; Yukun Zhu; Ruslan Salakhutdinov; Richard S. Zemel; Antonio Torralba; Raquel Urtasun; Sanja Fidler

Zusammenfassung

Wir beschreiben einen Ansatz für das unüberwachte Lernen eines generischen, verteilten Satzencoders. Unter Verwendung der Kontinuität von Texten aus Büchern trainieren wir ein Encoder-Decoder-Modell, das versucht, die umliegenden Sätze eines kodierten Passages zu rekonstruieren. Sätze, die semantische und syntaktische Eigenschaften teilen, werden somit ähnlichen Vektordarstellungen zugeordnet. Im nächsten Schritt führen wir eine einfache Vokabularerweiterungsmethode ein, um Wörter zu kodieren, die während des Trainings nicht gesehen wurden. Dies ermöglicht es uns, unser Wortschatz auf eine Million Wörter zu erweitern. Nach dem Training unseres Modells extrahieren und evaluieren wir unsere Vektoren mit linearen Modellen anhand von 8 Aufgaben: semantische Verwandtschaft, Paraphrasenerkennung, Bild-Satz-Ranking, Frage-Typ-Klassifizierung sowie vier Benchmark-Datensätze für Stimmungs- und Subjektivitätserkennung. Das Endresultat ist ein fertig zum Einsatz bereiter Encoder, der hochgenerische Satzdarsellungen erzeugen kann, die robust sind und in der Praxis gut abschneiden. Wir werden unseren Encoder öffentlich zugänglich machen.请注意,这里有一些小的调整以适应德语的表达习惯,例如“umliegenden Sätze eines kodierten Passages”中的“Passages”被改为“Passage”,以及“Satzdarsellungen”应该是“Satzdarstellungen”。此外,“Stimmungs- und Subjektivitätserkennung”中的连字符是为了符合德语复合词的书写规则。


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Skip-Thought Vektoren | Paper | HyperAI