HyperAIHyperAI

Command Palette

Search for a command to run...

Eine Einfache Methode für Alltagsvernunftschlussfolgerungen

Trieu H. Trinh; Quoc V. Le

Zusammenfassung

Alltagsvernunftschlussfolgerung (common sense reasoning) ist eine langjährige Herausforderung für tiefes Lernen. Zum Beispiel ist es schwierig, neuronale Netze zur Bearbeitung des Winograd-Schema-Datensatzes (Levesque et al., 2011) einzusetzen. In dieser Arbeit stellen wir eine einfache Methode vor, die Alltagsvernunftschlussfolgerungen mit neuronalen Netzen durchführt, indem unsupervises Lernen verwendet wird. Kernstück unserer Methode ist die Verwendung von Sprachmodellen, die auf einer großen Menge an unbeschrifteten Daten trainiert wurden, um Multiple-Choice-Fragen zu bewerten, die von Tests zur Alltagsvernunftschlussfolgerung gestellt werden. Bei den Aufgaben der Pronomenauflösung und des Winograd-Schema-Challenges übertreffen unsere Modelle die bisherigen Stand der Technik-Methoden erheblich, ohne teure annotierte Wissensbasen oder manuell entwickelte Merkmale zu verwenden. Wir trainieren eine Reihe großer RNN-Sprachmodelle, die auf Wort- oder Zeichenebene auf LM-1-Billion, CommonCrawl, SQuAD, Gutenberg-Büchern und einem für diese Aufgabe angepassten Korpus arbeiten, und zeigen, dass die Vielfalt der Trainingsdaten eine wichtige Rolle bei der Testleistung spielt. Eine weitere Analyse ergibt zudem, dass unser System wichtige Kontextmerkmale erfolgreich identifiziert, die für das Finden der richtigen Antwort entscheidend sind, was einen guten Überblick über Alltagswissen vermittelt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp