Bewertung von Token-basierten und Passage-basierten dichten Retrieval-Modellen für die mathematische Informationsabruf

Mit dem jüngsten Erfolg dichter Retrieval-Methoden auf Basis von Bi-Encodern haben Studien diesen Ansatz auf verschiedene interessante Downstream-Retrieval-Aufgaben angewendet, wobei eine gute Effizienz und Domänenwirksamkeit erzielt wurde. Kürzlich konnten wir auch die Anwendung dichter Retrieval-Modelle in Mathematischer Informationsretrieval (MIR)-Aufgaben beobachten, jedoch bleiben die effektivsten Systeme klassische Retrieval-Methoden, die handgefertigte Strukturmerkmale berücksichtigen. In dieser Arbeit versuchen wir, das Beste aus beiden Welten zu kombinieren: eine gut definierte Struktursuchmethode für eine effektive Formelsuche und effiziente Bi-Encoder-basierte dichte Retrieval-Modelle zur Erfassung kontextueller Ähnlichkeiten. Insbesondere haben wir zwei repräsentative Bi-Encoder-Modelle für tokenbasierte und passagenbasierte dichte Retrieval-Aufgaben auf aktuellen MIR-Aufgaben evaluiert. Unsere Ergebnisse zeigen, dass Bi-Encoder-Modelle den existierenden Struktursuchmethoden hochgradig ergänzend sind und wir den Stand der Technik in MIR-Datensätzen vorantreiben können.