Robuste Retrieval-verstärkte Generierung für Zero-Shot Slot-Füllung

Das automatische Erstellen hochwertiger Wissensgraphen aus einer gegebenen Dokumentensammlung bleibt ein herausforderndes Problem im Bereich der Künstlichen Intelligenz (AI). Ein Ansatz, um Fortschritte bei diesem Problem zu erzielen, ist die Weiterentwicklung einer verwandten Aufgabe, bekannt als Slot-Füllung. Bei dieser Aufgabe wird ein System aufgefordert, einen Slot in Form von [Entität, Slot, ?] durch Generieren oder Extrahieren des fehlenden Wertes unter Verwendung von Beweisen aus relevanten Passagen in der gegebenen Dokumentensammlung zu füllen. Die jüngsten Arbeiten in diesem Bereich versuchen, diese Aufgabe in einem End-to-End-Verfahren mithilfe von retrivalfähigen Sprachmodellen zu lösen. In dieser Arbeit präsentieren wir einen neuen Ansatz zur Zero-Shot-Slot-Füllung, der dichte Passage-Retrieval mit harten Negativen und robusten Trainingsverfahren für retrivalaugmentierte Generierungsmodelle erweitert. Unser Modell zeigt erhebliche Verbesserungen sowohl auf den T-REx- als auch auf den zsRE-Datensätzen für Slot-Füllung, indem es sowohl die Passage-Retrieval- als auch die Slot-Wertgenerierung verbessert und den ersten Platz im KILT-Leaderboard belegt. Darüber hinaus demonstrieren wir die Robustheit unseres Systems durch die Anpassungsfähigkeit an neue Domänen am Beispiel einer neuen Variante des TACRED-Datensatzes für Slot-Füllung, wobei wir eine Kombination von Zero-Shot- und Few-Shot-Lernen einsetzen. Wir veröffentlichen den Quellcode und die vortrainierten Modelle.