Variational Open-Domain Question Answering

Retrieval-augmentierte Modelle haben sich in Aufgaben des natürlichen Sprachverstehens als wirksam erwiesen, dennoch besteht weiterhin ein Mangel an Forschung zur Optimierung solcher Modelle mittels Variational Inference. Wir stellen den Variational Open-Domain (VOD)-Rahmen für das end-to-end-Training und die Evaluation retrieval-augmentierter Modelle vor, wobei der Fokus auf Open-Domain-Fragebeantwortung und Sprachmodellierung liegt. Die VOD-Zielfunktion stellt eine selbst-normalisierte Schätzung der Rényi-Variational-Schranke dar und approximiert die Aufgaben-Marginal-Wahrscheinlichkeit. Sie wird unter Stichproben aus einer Hilfs-Sampling-Verteilung (gecachter Retriever und/oder approximativer Posterior) bewertet und bleibt dennoch handhabbar, selbst wenn die Retriever-Verteilung auf großen Korpora definiert ist. Wir demonstrieren die Vielseitigkeit von VOD durch das Training von Reader-Retriever-BERT-ähnlichen Modellen auf mehrfach ausgewählten medizinischen Prüfungsfragen. Auf dem MedMCQA-Datensatz übertrifft unser Modell das domain-tuned Med-PaLM um +5,3 %, obwohl es nur 2,500-mal weniger Parameter verwendet. Unser retrieval-augmentiertes BioLinkBERT-Modell erreichte auf MedMCQA 62,9 % und auf MedQA-USMLE 55,0 %. Schließlich zeigen wir die Wirksamkeit unseres gelernten Retriever-Komponenten im Kontext medizinischer Semantik-Suche.