Stochastische Antwortnetze für maschinelle Leseverstehen

Wir schlagen ein einfaches, aber robustes stochastisches Antwortnetzwerk (SAN) vor, das mehrstufiges Schließen in der maschinellen Textverständnis simuliert. Im Vergleich zu früheren Arbeiten wie ReasoNet, die Verstärkungslernen zur Bestimmung der Anzahl der Schritte verwendet haben, ist die einzigartige Eigenschaft die Anwendung einer Art stochastischen Vorhersage-Dropout auf den Antwortmodul (letzte Schicht) des neuronalen Netzes während des Trainings. Wir zeigen, dass diese einfache Methode die Robustheit verbessert und Wettbewerbsfähigkeit mit dem aktuellen Stand der Technik auf dem Stanford Question Answering Dataset (SQuAD), dem adversären SQuAD und dem Microsoft MAchine Reading COmprehension Dataset (MS MARCO) erreicht.