Ein diskretes hartes EM-Verfahren für schwach überwachtes Frage-Antwort-Verständnis

Viele Frage-Antwort-Aufgaben (QA) bieten lediglich eine schwache Supervision dafür, wie die Antwort berechnet werden soll. Beispielsweise sind TriviaQA-Antworten Entitäten, die in den unterstützenden Dokumenten mehrfach vorkommen können, während DROP-Antworten durch Ableitung vieler verschiedener Gleichungen aus Zahlen im Referenztext ermittelt werden können. In diesem Paper zeigen wir, dass es möglich ist, solche Aufgaben in Probleme des Lernens diskreter latenten Variablen zu transformieren, indem man eine vorab berechnete, auf die jeweilige Aufgabe zugeschnittene Menge möglicher „Lösungen“ (z. B. verschiedene Erwähnungen oder Gleichungen) verwendet, die genau eine korrekte Option enthält. Anschließend entwickeln wir ein hard EM-Lernverfahren, das bei jeder Aktualisierung die Gradienten bezüglich der wahrscheinlichsten Lösung berechnet. Trotz seiner Einfachheit übertrifft dieser Ansatz auf sechs QA-Aufgaben deutlich frühere Methoden, wobei absolute Verbesserungen von 2–10 % erzielt werden, und erreicht die State-of-the-Art-Leistung bei fünf davon. Die Verwendung von hard Updates anstelle der Maximierung der marginalen Likelihood ist entscheidend für diese Ergebnisse, da sie das Modell dazu anregt, die eine korrekte Antwort zu finden, wie wir durch detaillierte qualitative Analysen nachweisen.