Von neuraler Neurankung zur neuronalen Rangordnung: Lernen einer spärlichen Darstellung für die invertierte Indizierung

Die Verfügbarkeit von umfangreichen Datensätzen und Rechenleistung, die effektive datengestützte neuronale Ansätze ermöglicht, hat einen tiefgreifenden Einfluss auf die Forschung im Bereich des maschinellen Lernens und der Informationsabrufsysteme ausgeübt. Dennoch weisen diese Modelle ein grundlegendes Effizienzproblem auf. Aktuelle neuronale Ranking-Modelle werden als mehrstufige Ranker implementiert: aus Effizienzgründen re-rankt das neuronale Modell nur die am besten bewerteten Dokumente, die durch einen ersten, effizienten Ranker in Reaktion auf eine gegebene Anfrage ermittelt wurden. Durch die Lernung dichter Darstellungen (dense representations) kommt es dazu, dass praktisch jedes Suchbegriffsterm mit jedem Dokumentbegriffsterm übereinstimmt, was die Bewertung der gesamten Dokumentenkollektion äußerst ineffizient oder gar unpraktikabel macht. Die Abhängigkeit von einem ersten Stufen-Ranker führt zu zwei Problemen: Erstens sind die Interaktionen und Kombinationseffekte zwischen den Stufen nicht hinreichend verstanden. Zweitens fungiert der erste Stufen-Ranker als „Torhüter“ oder Filter, der das Potenzial neuronaler Modelle, neue relevante Dokumente aufzudecken, effektiv einschränkt.In dieser Arbeit stellen wir ein eigenständiges neuronales Ranking-Modell (SNRM) vor, indem wir eine Sparsamkeits-Eigenschaft einführen, um für jede Anfrage und jedes Dokument eine latente, sparsame Darstellung zu lernen. Diese Darstellung erfasst die semantische Beziehung zwischen Anfrage und Dokumenten, ist jedoch gleichzeitig sparsam genug, um ein umgekehrtes Index-System für die gesamte Dokumentenkollektion zu ermöglichen. Wir parametrisieren die Sparsamkeit des Modells so, dass das Retrieval-Modell eine Effizienz erreicht, die mit herkömmlichen, auf Stichworten basierenden Modellen vergleichbar ist. Unser Modell erreicht eine höhere Effizienz ohne Verlust an Wirksamkeit: Es übertrifft nicht nur bestehende Baseline-Modelle, die auf Stichwortübereinstimmungen basieren, sondern erzielt auch eine vergleichbare Leistung wie neuere, auf Re-Ranking basierende neuronale Modelle mit dichten Darstellungen. Zudem kann unser Modell pseudorelevante Rückkopplung (pseudo-relevance feedback) nutzen, um die Leistung weiter zu verbessern. In allgemeinerer Hinsicht zeigen unsere Ergebnisse die Bedeutung von Sparsamkeit in neuronalen Informationsabruf-Modellen auf und verdeutlichen, dass dichte Darstellungen effektiv verkleinert (pruned) werden können. Dies liefert neue Einsichten in wesentliche semantische Merkmale und deren Verteilung.