HyperAIHyperAI

Command Palette

Search for a command to run...

CEDR: Kontextualisierte Einbettungen für die Dokumentenbewertung

Sean MacAvaney Arman Cohan Andrew Yates Nazli Goharian

Zusammenfassung

Obwohl in letzter Zeit viel Aufmerksamkeit den neuronalen Rangarchitekturen gewidmet wurde, erhielten die als Eingabe für diese Modelle verwendeten Termdarstellungen weitaus weniger Beachtung. In dieser Arbeit untersuchen wir, wie zwei vortrainierte kontextuelle Sprachmodelle (ELMo und BERT) für ad-hoc Dokumentranking eingesetzt werden können. Durch Experimente mit TREC-Benchmarks stellen wir fest, dass mehrere existierende neuronale Rangarchitekturen von dem zusätzlichen Kontext profitieren, den kontextuelle Sprachmodelle bieten. Darüber hinaus schlagen wir einen gemeinsamen Ansatz vor, der BERTs Klassifikationsvektor in bestehende neurale Modelle integriert und zeigen, dass dieser Ansatz die aktuellen besten ad-hoc-Ranking-Grundlinien übertrifft. Wir nennen diesen gemeinsamen Ansatz CEDR (Contextualized Embeddings for Document Ranking). Zudem behandeln wir praktische Herausforderungen bei der Verwendung dieser Modelle für das Ranking, einschließlich der maximalen Eingabelänge, die durch BERT vorgegeben wird, sowie der Laufzeit-Effekte von kontextuellen Sprachmodellen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
CEDR: Kontextualisierte Einbettungen für die Dokumentenbewertung | Paper | HyperAI