HyperAIHyperAI

Command Palette

Search for a command to run...

Robuste Retrieval-verstärkte Generierung für Zero-Shot Slot-Füllung

Michael Glass; Gaetano Rossiello; Md Faisal Mahbub Chowdhury; Alfio Gliozzo

Zusammenfassung

Das automatische Erstellen hochwertiger Wissensgraphen aus einer gegebenen Dokumentensammlung bleibt ein herausforderndes Problem im Bereich der Künstlichen Intelligenz (AI). Ein Ansatz, um Fortschritte bei diesem Problem zu erzielen, ist die Weiterentwicklung einer verwandten Aufgabe, bekannt als Slot-Füllung. Bei dieser Aufgabe wird ein System aufgefordert, einen Slot in Form von [Entität, Slot, ?] durch Generieren oder Extrahieren des fehlenden Wertes unter Verwendung von Beweisen aus relevanten Passagen in der gegebenen Dokumentensammlung zu füllen. Die jüngsten Arbeiten in diesem Bereich versuchen, diese Aufgabe in einem End-to-End-Verfahren mithilfe von retrivalfähigen Sprachmodellen zu lösen. In dieser Arbeit präsentieren wir einen neuen Ansatz zur Zero-Shot-Slot-Füllung, der dichte Passage-Retrieval mit harten Negativen und robusten Trainingsverfahren für retrivalaugmentierte Generierungsmodelle erweitert. Unser Modell zeigt erhebliche Verbesserungen sowohl auf den T-REx- als auch auf den zsRE-Datensätzen für Slot-Füllung, indem es sowohl die Passage-Retrieval- als auch die Slot-Wertgenerierung verbessert und den ersten Platz im KILT-Leaderboard belegt. Darüber hinaus demonstrieren wir die Robustheit unseres Systems durch die Anpassungsfähigkeit an neue Domänen am Beispiel einer neuen Variante des TACRED-Datensatzes für Slot-Füllung, wobei wir eine Kombination von Zero-Shot- und Few-Shot-Lernen einsetzen. Wir veröffentlichen den Quellcode und die vortrainierten Modelle.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Robuste Retrieval-verstärkte Generierung für Zero-Shot Slot-Füllung | Paper | HyperAI