Tiefer Textverstehen für IR durch kontextuelle neurale Sprachmodelle

Neuronale Netze bieten neue Möglichkeiten zur automatischen Lernung komplexer Sprachmuster und Abfrage-Dokument-Beziehungen. Neuronale IR-Modelle (Information Retrieval) haben vielversprechende Ergebnisse bei der Lernung von Abfrage-Dokument-Relevanzmustern erzielt, jedoch wurden bisher nur wenige Untersuchungen zur Verständnis der Textinhalte einer Abfrage oder eines Dokuments durchgeführt. Diese Arbeit untersucht die Nutzung eines kürzlich vorgeschlagenen kontextuellen neuronalen Sprachmodells, BERT, um ein tieferes Textverständnis für IR zu ermöglichen. Experimentelle Ergebnisse zeigen, dass die kontextuellen Textrepräsentationen von BERT effektiver sind als traditionelle Wortvektoren (Word Embeddings). Im Vergleich zu Bag-of-Words-Retrieval-Modellen kann das kontextuelle Sprachmodell bessere Vorteile aus sprachlichen Strukturen ziehen und damit erhebliche Verbesserungen bei Abfragen in natürlicher Sprache erzielen. Die Kombination der Textverarbeitungsfähigkeit mit Suchwissen führt zu einem verbesserten vorab trainierten BERT-Modell, das Suchaufgaben mit begrenzten Trainingsdaten nützt.