HyperAIHyperAI

Command Palette

Search for a command to run...

BilBOWA: Schnelle bilingual verteilte Repräsentationen ohne Wörterausrichtung

Stephan Gouws; Yoshua Bengio; Greg Corrado

Zusammenfassung

Wir stellen BilBOWA (Bilingual Bag-of-Words ohne Ausrichtungen) vor, ein einfaches und rechnerisch effizientes Modell zur Lernung von bilingualen verteilten Repräsentationen von Wörtern, das sich auf große mono-linguale Datensätze skalieren lässt und keine wortweise ausgerichteten parallelen Trainingsdaten erfordert. Stattdessen wird es direkt auf mono-lingualen Daten trainiert und extrahiert ein bilinguales Signal aus einem kleineren Satz roher, satzweise ausgerichteter Textdaten. Dies wird durch ein neuartiges, stichprobenbasiertes Bag-of-Words-Kreisprachziel erreicht, das verwendet wird, um zwei rauschkontrastive Sprachmodelle für eine effiziente Kreisprachmerkmalslernung zu regularisieren. Wir zeigen, dass die bilingualen Einbettungen, die mit dem vorgeschlagenen Modell gelernt wurden, sowohl bei einer kreisprachlichen Dokumentklassifizierungsaufgabe als auch bei einer lexikalischen Übersetzungs­aufgabe auf WMT11-Daten den Stand der Technik übertreffen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp