Einfache, entitätszentrierte Fragen stellen Dichte Recherchewerkzeuge vor Herausforderungen

Die offene Domänen-Fragebeantwortung hat in letzter Zeit aufgrund des Erfolgs dichter Recherche-Modelle erheblich an Beliebtheit gewonnen, die Sparse-Modelle bei nur wenigen überwachten Trainingsbeispielen bereits übertreffen. In dieser Arbeit zeigen wir jedoch, dass aktuelle dichte Modelle noch kein „heiliges Gral“ der Recherche darstellen. Zunächst konstruieren wir EntityQuestions, eine Sammlung einfacher, entitätsreicher Fragen, die auf Fakten aus Wikidata basieren (z. B. „Wo wurde Arve Furset geboren?“), und beobachten, dass dichte Recherchemodelle deutlich schlechter abschneiden als Sparse-Methoden. Wir untersuchen dieses Problem und stellen fest, dass dichte Recherchemodelle nur dann generalisieren können, wenn die Fragestruktur während des Trainings explizit beobachtet wurde – dies gilt jedoch nur für häufige Entitäten. Wir diskutieren zwei einfache Ansätze zur Lösung dieses kritischen Problems. Erstens zeigen wir, dass Datenaugmentation das Generalisierungsproblem nicht beheben kann. Zweitens argumentieren wir, dass ein robusterer Passagen-Encoder durch die Verwendung spezialisierter Frage-Encoder eine bessere Anpassung an Fragen ermöglicht. Wir hoffen, dass unsere Arbeit Aufschluss über die Herausforderungen bei der Entwicklung eines robusten, universellen dichten Recherchemodells geben kann, das über verschiedene Eingabeverteilungen hinweg gut funktioniert.