Das Lernen verteilter Repräsentationen von Sätzen aus unbeschrifteten Daten

Uüberwachte Methoden zur Lernung verteilter Wortsrepräsentationen sind in der heutigen NLP-Forschung weit verbreitet, aber es ist viel weniger bekannt, welche die besten Wege sind, um verteilte Phrasen- oder Satzrepräsentationen aus unbeschrifteten Daten zu lernen. Dieses Papier stellt einen systematischen Vergleich von Modellen dar, die solche Repräsentationen erlernen. Wir stellen fest, dass der optimale Ansatz entscheidend von der beabsichtigten Anwendung abhängt. Tiefergehende, komplexere Modelle sind für Repräsentationen vorzuziehen, die in überwachten Systemen verwendet werden sollen, während flache log-lineare Modelle am besten geeignet sind, um Repräsentationsräume aufzubauen, die mit einfachen räumlichen Distanzmessverfahren dekodiert werden können. Wir schlagen auch zwei neue überwachungslose Lernziele vor, die darauf abzielen, den Kompromiss zwischen Trainingszeit, Domänenportabilität und Leistung zu optimieren.