UnitedQA: Ein hybrider Ansatz für die offene Domänen-Fragebeantwortung

Bisher konzentriert sich der Großteil der aktuellen Forschung im Rahmen des Retrieval-Reader-Paradigmas für offene Domänen-Frage-Antwort-Systeme entweder ausschließlich auf extraktive oder auf generative Reader. In diesem Artikel untersuchen wir einen hybriden Ansatz, um die Stärken beider Modelltypen zu nutzen. Wir wenden neuartige Techniken an, um sowohl extraktive als auch generative Reader, die auf jüngsten vortrainierten neuronalen Sprachmodellen basieren, zu verbessern, und zeigen, dass geeignete Trainingsmethoden zu erheblichen Verbesserungen gegenüber vorherigen State-of-the-Art-Modellen führen können. Wir demonstrieren, dass ein einfacher hybrider Ansatz, der Antworten beider Reader kombiniert, effizient die Vorteile der extraktiven und generativen Antwortinferenzstrategien nutzt und sowohl einzelne Modelle als auch homogene Ensembles übertrifft. Unser Ansatz erreicht auf NaturalQuestions und TriviaQA jeweils eine Verbesserung von 3,3 bzw. 2,7 Punkten in der Exact-Match-Metrik gegenüber früheren State-of-the-Art-Modellen.