Merken, Faktorisieren oder naiv sein: Lernen optimaler Methoden zur Merkmalsinteraktion für die CTR-Vorhersage

Die Vorhersage der Klickrate (Click-Through Rate, CTR) ist eine zentrale Aufgabe in kommerziellen Empfehlungssystemen. Ziel ist es, die Wahrscheinlichkeit vorherzusagen, dass ein Nutzer ein bestimmtes Item anklickt, basierend auf Nutzer- und Item-Features. Da Merkmalsinteraktionen Nichtlinearitäten einführen, werden sie häufig eingesetzt, um die Leistung von CTR-Vorhersagemodellen zu verbessern. Daher hat die effektive Modellierung von Merkmalsinteraktionen sowohl in der Forschung als auch in der Industrie erhebliche Aufmerksamkeit erhalten. Aktuelle Ansätze lassen sich generell in drei Klassen einteilen: (1) naive Methoden, die keine Merkmalsinteraktionen modellieren und lediglich die ursprünglichen Merkmale nutzen; (2) memorisierende Methoden, die Merkmalsinteraktionen explizit als neue Merkmale betrachten und lernbare Embeddings zuweisen; (3) faktorisierte Methoden, die latente Vektoren für die ursprünglichen Merkmale lernen und die Interaktionen implizit über Faktorisierungsfunktionen modellieren. Studien haben gezeigt, dass die alleinige Verwendung einer dieser Methoden suboptimal ist, da verschiedene Merkmalsinteraktionen unterschiedliche Eigenschaften aufweisen. Um dieses Problem anzugehen, schlagen wir zunächst einen allgemeinen Rahmen namens OptInter vor, der für jede Merkmalsinteraktion die am besten geeignete Modellierungsmethode findet. Verschiedene state-of-the-art tiefe CTR-Modelle können als Spezialfälle von OptInter betrachtet werden. Um die Funktionalität von OptInter zu realisieren, führen wir außerdem einen Lernalgorithmus ein, der automatisch die optimale Modellierungsmethode sucht. Wir führen umfangreiche Experimente auf vier großen Datensätzen durch. Unsere Ergebnisse zeigen, dass OptInter die besten state-of-the-art Baseline-Modelle um bis zu 2,21 % verbessert. Im Vergleich zu der memorisierenden Methode, die ebenfalls die Baselines übertrifft, reduzieren wir die Anzahl der Parameter um bis zu 91 %. Zudem führen wir mehrere Ablationsstudien durch, um die Wirkung unterschiedlicher Komponenten von OptInter zu untersuchen. Schließlich geben wir interpretierbare Diskussionen zu den Ergebnissen von OptInter.