CEDR: Kontextualisierte Einbettungen für die Dokumentenbewertung

Obwohl in letzter Zeit viel Aufmerksamkeit den neuronalen Rangarchitekturen gewidmet wurde, erhielten die als Eingabe für diese Modelle verwendeten Termdarstellungen weitaus weniger Beachtung. In dieser Arbeit untersuchen wir, wie zwei vortrainierte kontextuelle Sprachmodelle (ELMo und BERT) für ad-hoc Dokumentranking eingesetzt werden können. Durch Experimente mit TREC-Benchmarks stellen wir fest, dass mehrere existierende neuronale Rangarchitekturen von dem zusätzlichen Kontext profitieren, den kontextuelle Sprachmodelle bieten. Darüber hinaus schlagen wir einen gemeinsamen Ansatz vor, der BERTs Klassifikationsvektor in bestehende neurale Modelle integriert und zeigen, dass dieser Ansatz die aktuellen besten ad-hoc-Ranking-Grundlinien übertrifft. Wir nennen diesen gemeinsamen Ansatz CEDR (Contextualized Embeddings for Document Ranking). Zudem behandeln wir praktische Herausforderungen bei der Verwendung dieser Modelle für das Ranking, einschließlich der maximalen Eingabelänge, die durch BERT vorgegeben wird, sowie der Laufzeit-Effekte von kontextuellen Sprachmodellen.