HyperAIHyperAI
vor 17 Tagen

Dense Passage Retrieval für question answering in offenen Domänen

Vladimir Karpukhin, Barlas Oğuz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, Wen-tau Yih
Dense Passage Retrieval für question answering in offenen Domänen
Abstract

Die offene Domänen-Fragebeantwortung beruht auf einer effizienten Abschnittsretrieval-Phase zur Auswahl von Kandidatkontexten, wobei traditionelle spärliche Vektorraummodelle wie TF-IDF oder BM25 die etablierte Methode darstellen. In dieser Arbeit zeigen wir, dass die Recherche praktisch allein mittels dichter Darstellungen realisiert werden kann, wobei Embeddings durch einen einfachen Dual-Encoder-Framework aus einer geringen Anzahl von Fragen und Abschnitten gelernt werden. Bei der Bewertung auf einer Vielzahl offener Domänen-QA-Datensätze übertrifft unser dichter Retriever einen starken Lucene-BM25-System deutlich um 9 bis 19 Prozentpunkte in Bezug auf die Genauigkeit der Top-20-Abschnittsretrieval und ermöglicht es unserem end-to-end-Fragebeantwortungssystem, auf mehreren offenen Domänen-QA-Benchmarks neue SOTA-Ergebnisse zu erzielen.

Dense Passage Retrieval für question answering in offenen Domänen | Neueste Forschungsarbeiten | HyperAI