HyperAIHyperAI

Command Palette

Search for a command to run...

Tiefer Textverstehen für IR durch kontextuelle neurale Sprachmodelle

Zhuyun Dai Jamie Callan

Zusammenfassung

Neuronale Netze bieten neue Möglichkeiten zur automatischen Lernung komplexer Sprachmuster und Abfrage-Dokument-Beziehungen. Neuronale IR-Modelle (Information Retrieval) haben vielversprechende Ergebnisse bei der Lernung von Abfrage-Dokument-Relevanzmustern erzielt, jedoch wurden bisher nur wenige Untersuchungen zur Verständnis der Textinhalte einer Abfrage oder eines Dokuments durchgeführt. Diese Arbeit untersucht die Nutzung eines kürzlich vorgeschlagenen kontextuellen neuronalen Sprachmodells, BERT, um ein tieferes Textverständnis für IR zu ermöglichen. Experimentelle Ergebnisse zeigen, dass die kontextuellen Textrepräsentationen von BERT effektiver sind als traditionelle Wortvektoren (Word Embeddings). Im Vergleich zu Bag-of-Words-Retrieval-Modellen kann das kontextuelle Sprachmodell bessere Vorteile aus sprachlichen Strukturen ziehen und damit erhebliche Verbesserungen bei Abfragen in natürlicher Sprache erzielen. Die Kombination der Textverarbeitungsfähigkeit mit Suchwissen führt zu einem verbesserten vorab trainierten BERT-Modell, das Suchaufgaben mit begrenzten Trainingsdaten nützt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp