Abfrage mit gelernten Ähnlichkeiten

Die Recherche spielt eine zentrale Rolle in Empfehlungssystemen, Suchmaschinen und der natürlichen Sprachverarbeitung (NLP), indem sie effizient relevante Objekte aus einer großen Datenmenge basierend auf einer Anfrage identifiziert. Skalarprodukte werden in solchen Aufgaben weit verbreitet als Ähnlichkeitsfunktion eingesetzt, was durch Maximum Inner Product Search (MIPS)-Algorithmen zur effizienten Recherche ermöglicht wird. Allerdings haben aktuelle, state-of-the-art-Methoden der Recherche den Übergang zu gelernten Ähnlichkeitsfunktionen vollzogen. Diese fortschrittlichen Ansätze umfassen mehrere Abfragesenkungen, komplexe neuronale Netzwerke, die direkte Dekodierung von Item-IDs mittels Beam-Search sowie hybride Lösungen. Leider fehlen jedoch effiziente Lösungen für die Recherche in diesen modernen Architekturen. Unser Werk schließt diese Lücke, indem es effiziente Recherchemethoden mit ausdrucksstarken, gelernten Ähnlichkeitsfunktionen untersucht. Wir etablieren die Mixture-of-Logits (MoL)-Funktion als universellen Approximator für Ähnlichkeitsfunktionen, zeigen empirisch, dass die Ausdruckskraft von MoL realisiert werden kann und so überlegene Leistung in vielfältigen Recherche-Szenarien erzielt wird, und stellen Techniken vor, um unter Verwendung von MoL annähernd die obersten k Ergebnisse mit engen Fehlergrenzen zu finden. Durch umfangreiche Experimente zeigen wir, dass MoL, verbessert durch unseren vorgeschlagenen auf der gegenseitigen Information basierenden Lastenausgleichsverlust, neue state-of-the-art-Ergebnisse in heterogenen Szenarien erzielt – darunter sequenzielle Recherche-Modelle in Empfehlungssystemen sowie das Fine-Tuning von Sprachmodellen für die Fragebeantwortung. Zudem übertrifft unsere Methode zur approximativen Top-k-Recherche die Baselines hinsichtlich der Latenz um bis zu 66-fach, während sie gleichzeitig eine Recall-Rate von über 0,99 im Vergleich zu exakten Algorithmen erreicht.