HyperAIHyperAI

Command Palette

Search for a command to run...

Kann ein gefrorenes vortrainiertes Sprachmodell für zero-shot neuronale Retrieval auf entitätszentrierte Fragen verwendet werden?

Yasuto Hoshi Daisuke Miyashita Yasuhiro Morioka Youyang Ng Osamu Torii Jun Deguchi

Zusammenfassung

Neuronale Dokumentretriever, darunter auch dense passage retrieval (DPR), haben klassische, auf Lexikalismus basierende Retriever wie BM25 bei der Feinabstimmung und Prüfung auf spezifischen Frage-Antwort-Datensätzen überflügelt. Es hat sich jedoch gezeigt, dass bestehende dense Retriever weder außerhalb ihres Anwendungsbereichs noch sogar innerhalb desselben, beispielsweise in Wikipedia, gut generalisieren, insbesondere dann, wenn eine benannte Entität in der Frage ein entscheidender Hinweis für die Retrieval-Aufgabe darstellt. In diesem Artikel schlagen wir einen Ansatz zur Verbesserung der In-Domain-Generalisierung vor, der die durch einen fixierten Sprachmodell erzeugten Embeddings nutzt, das mit Entitäten aus dem jeweiligen Domänenbereich trainiert wurde. Durch Verzicht auf eine Feinabstimmung untersuchen wir die Möglichkeit, dass das umfangreiche Wissen eines vortrainierten Sprachmodells für Retrieval-Aufgaben genutzt werden kann. Die vorgeschlagene Methode erreicht auf entitätszentrierten Fragen im Wikipedia-Domänenbereich eine bessere Leistung als herkömmliche DPR-Modelle und erzielt eine fast vergleichbare Genauigkeit wie BM25 und den aktuellen Stand der Technik, das SPAR-Modell. Zudem zeigen wir, dass kontextualisierte Schlüsselwörter gegenüber BM25 erhebliche Verbesserungen erzielen, wenn die Entitätsnamen aus alltäglichen Wörtern bestehen. Unsere Ergebnisse belegen die Machbarkeit eines Zero-Shot-Retrieval-Ansatzes für entitätszentrierte Fragen im Wikipedia-Domänenbereich, bei denen DPR bisher Schwierigkeiten hatte, eine gute Leistung zu erzielen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp