HyperAIHyperAI

Command Palette

Search for a command to run...

Variational Open-Domain Question Answering

Valentin Liévin Andreas Geert Motzfeldt Ida Riis Jensen Ole Winther

Zusammenfassung

Retrieval-augmentierte Modelle haben sich in Aufgaben des natürlichen Sprachverstehens als wirksam erwiesen, dennoch besteht weiterhin ein Mangel an Forschung zur Optimierung solcher Modelle mittels Variational Inference. Wir stellen den Variational Open-Domain (VOD)-Rahmen für das end-to-end-Training und die Evaluation retrieval-augmentierter Modelle vor, wobei der Fokus auf Open-Domain-Fragebeantwortung und Sprachmodellierung liegt. Die VOD-Zielfunktion stellt eine selbst-normalisierte Schätzung der Rényi-Variational-Schranke dar und approximiert die Aufgaben-Marginal-Wahrscheinlichkeit. Sie wird unter Stichproben aus einer Hilfs-Sampling-Verteilung (gecachter Retriever und/oder approximativer Posterior) bewertet und bleibt dennoch handhabbar, selbst wenn die Retriever-Verteilung auf großen Korpora definiert ist. Wir demonstrieren die Vielseitigkeit von VOD durch das Training von Reader-Retriever-BERT-ähnlichen Modellen auf mehrfach ausgewählten medizinischen Prüfungsfragen. Auf dem MedMCQA-Datensatz übertrifft unser Modell das domain-tuned Med-PaLM um +5,3 %, obwohl es nur 2,500-mal weniger Parameter verwendet. Unser retrieval-augmentiertes BioLinkBERT-Modell erreichte auf MedMCQA 62,9 % und auf MedQA-USMLE 55,0 %. Schließlich zeigen wir die Wirksamkeit unseres gelernten Retriever-Komponenten im Kontext medizinischer Semantik-Suche.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp