HyperAIHyperAI
vor 2 Monaten

Eine Einfache Methode für Alltagsvernunftschlussfolgerungen

Trieu H. Trinh; Quoc V. Le
Eine Einfache Methode für Alltagsvernunftschlussfolgerungen
Abstract

Alltagsvernunftschlussfolgerung (common sense reasoning) ist eine langjährige Herausforderung für tiefes Lernen. Zum Beispiel ist es schwierig, neuronale Netze zur Bearbeitung des Winograd-Schema-Datensatzes (Levesque et al., 2011) einzusetzen. In dieser Arbeit stellen wir eine einfache Methode vor, die Alltagsvernunftschlussfolgerungen mit neuronalen Netzen durchführt, indem unsupervises Lernen verwendet wird. Kernstück unserer Methode ist die Verwendung von Sprachmodellen, die auf einer großen Menge an unbeschrifteten Daten trainiert wurden, um Multiple-Choice-Fragen zu bewerten, die von Tests zur Alltagsvernunftschlussfolgerung gestellt werden. Bei den Aufgaben der Pronomenauflösung und des Winograd-Schema-Challenges übertreffen unsere Modelle die bisherigen Stand der Technik-Methoden erheblich, ohne teure annotierte Wissensbasen oder manuell entwickelte Merkmale zu verwenden. Wir trainieren eine Reihe großer RNN-Sprachmodelle, die auf Wort- oder Zeichenebene auf LM-1-Billion, CommonCrawl, SQuAD, Gutenberg-Büchern und einem für diese Aufgabe angepassten Korpus arbeiten, und zeigen, dass die Vielfalt der Trainingsdaten eine wichtige Rolle bei der Testleistung spielt. Eine weitere Analyse ergibt zudem, dass unser System wichtige Kontextmerkmale erfolgreich identifiziert, die für das Finden der richtigen Antwort entscheidend sind, was einen guten Überblick über Alltagswissen vermittelt.