PARADE: Passage-Repräsentation und -Aggregation für die Dokumenten-Reranking

Vorab trainierte Transformer-Modelle wie BERT und T5 haben sich als hoch effektiv bei der ad-hoc-Rangfolge von Passagen und Dokumenten erwiesen. Aufgrund der inhärenten Sequenzlängenbegrenzungen dieser Modelle müssen sie über die Passagen eines Dokuments laufen, anstatt die gesamte Dokumentsequenz auf einmal zu verarbeiten. Obwohl verschiedene Ansätze zur Aggregation von Passage-Level-Signalen vorgeschlagen wurden, fehlt es bisher an einer umfassenden Vergleichsanalyse dieser Techniken. In dieser Arbeit untersuchen wir Strategien zur Aggregation von Relevanzsignalen aus den Passagen eines Dokuments in eine endgültige Rangfolgebewertung. Wir stellen fest, dass Aggregierungstechniken für Passage-Repräsentationen erhebliche Verbesserungen gegenüber in früherer Arbeit vorgeschlagenen Methoden, wie dem Nehmen des maximalen Passagenpunktes, bieten können. Wir bezeichnen diesen neuen Ansatz als PARADE. Insbesondere kann PARADE die Ergebnisse in Sammlungen mit breit gefächerten Informationsbedürfnissen erheblich verbessern, bei denen Relevanzsignale im gesamten Dokument verteilt sein können (wie z.B. TREC Robust04 und GOV2). Gleichzeitig können weniger komplexe Aggregierungstechniken in Sammlungen besser funktionieren, bei denen das Informationsbedürfnis oft auf eine einzelne Passage eingegrenzt werden kann (wie z.B. TREC DL und TREC Genomics). Wir führen auch Effizienzanalysen durch und heben mehrere Strategien zur Verbesserung der transformerbasierten Aggregation hervor.