SPARTA: Effiziente Open-Domain-Fragebeantwortung mittels sparsen Transformer-Matching-Abfrageabfrage

Wir stellen SPARTA vor, eine neuartige neuronale Retrieval-Methode, die großes Versprechen hinsichtlich Leistungsfähigkeit, Generalisierbarkeit und Interpretierbarkeit für offene Domänen-Fragebeantwortung (Open-Domain Question Answering) erfüllt. Im Gegensatz zu vielen neuronalen Ranking-Methoden, die auf der Suche nach nächsten Nachbarn in dichten Vektoren basieren, lernt SPARTA eine spärliche Darstellung, die effizient als umgekehrter Index (Inverted Index) implementiert werden kann. Diese resultierende Darstellung ermöglicht skalierbares neuronales Retrieval, das keine kostspieligen Approximationen bei Vektor-Suchen erfordert und zudem eine bessere Leistung als ihre dichte Gegenstücke erzielt. Wir haben unsere Ansätze an vier offenen Domänen-Fragebeantwortungsaufgaben (OpenQA) und elf Retrieval-Fragebeantwortungsaufgaben (ReQA) validiert. SPARTA erreicht neue SOTA-Ergebnisse (State-of-the-Art) auf einer Vielzahl von Aufgaben im Bereich offener Domänen-Fragebeantwortung sowohl auf englisch- als auch auf chinesischsprachigen Datensätzen, darunter open SQuAD, Natural Question, CMRC usw. Eine Analyse bestätigt zudem, dass die vorgeschlagene Methode menscheninterpretierbare Darstellungen erzeugt und eine flexible Kontrolle über das Leistungs-Effizienz-Trade-off ermöglicht.