HyperAIHyperAI

Command Palette

Search for a command to run...

Multi-Passage BERT: Ein global normiertes BERT-Modell für die Beantwortung offener Fragen

Zhiqiang Wang Yuhao Zhang Xiaoyan Yan

Zusammenfassung

Das BERT-Modell wurde erfolgreich auf offenen Frage-Antwort-Aufgaben (open-domain QA tasks) angewendet. Allerdings trainieren frühere Arbeiten das BERT-Modell, indem sie Passagen, die der gleichen Frage entsprechen, als unabhängige Trainingsinstanzen betrachten, was zu nicht vergleichbaren Scores für Antworten aus verschiedenen Passagen führen kann. Um dieses Problem zu lösen, schlagen wir ein mehrfach-Passagen-BERT-Modell vor, das die Antwort-Scores global über alle Passagen derselben Frage normalisiert. Diese Änderung ermöglicht es unserem QA-Modell, bessere Antworten durch die Nutzung von mehr Passagen zu finden. Darüber hinaus stellen wir fest, dass das Aufteilen von Artikeln in 100 Wörter lange Passagen durch ein Schiebefenster (sliding window) die Leistung um 4 % verbessert. Durch den Einsatz eines Passage-Rankers zur Auswahl hochwertiger Passagen gewinnt das mehrfach-Passagen-BERT zusätzliche 2 %. Experimente anhand vierer Standardbenchmarks zeigten, dass unser mehrfach-Passagen-BERT auf allen Benchmarks allen aktuellen Modellen überlegen ist. Insbesondere beim OpenSQuAD-Datensatz erreicht unser Modell eine Verbesserung von 21,4 % EM und 21,5 % F1F_1F1 im Vergleich zu allen nicht-BERT-basierten Modellen sowie eine Steigerung von 5,8 % EM und 6,5 % F1F_1F1 gegenüber BERT-basierten Modellen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Multi-Passage BERT: Ein global normiertes BERT-Modell für die Beantwortung offener Fragen | Paper | HyperAI