Passage Re-Ranking mit BERT

Kürzlich haben neurale Modelle, die auf einer Sprachmodellierungsaufgabe vortrainiert wurden, wie ELMo (Peters et al., 2017), OpenAI GPT (Radford et al., 2018) und BERT (Devlin et al., 2018), beeindruckende Ergebnisse bei verschiedenen Aufgaben der natürlichsprachlichen Verarbeitung, wie z.B. Fragebeantwortung und natürlichsprachliche Inferenz, erzielt. In dieser Arbeit beschreiben wir eine einfache Neuausführung von BERT für die Abfragebasierte Passage-Re-Ranking. Unser System ist der Stand der Technik im TREC-CAR-Datensatz und steht an erster Stelle in der Rangliste der MS MARCO Passage Retrieval Task, wobei es den bisherigen Stand der Technik um 27 % (relativ) in MRR@10 übertrifft. Der Code zur Reproduktion unserer Ergebnisse ist unter https://github.com/nyu-dl/dl4marco-bert verfügbar.