Optimierung der Merkmalsmenge für die Klick-Through-Rate-Vorhersage

Click-through-Rate-Vorhersagemodelle transformieren Merkmale in latente Vektoren und enumerieren mögliche Merkmalsinteraktionen, um die Leistung anhand der Eingabemerkmalmenge zu verbessern. Daher sollten bei der Auswahl einer optimalen Merkmalsmenge sowohl die einzelnen Merkmale als auch deren Interaktionen berücksichtigt werden. Die meisten bisherigen Arbeiten konzentrieren sich jedoch entweder auf die Auswahl von Merkmalsfeldern oder wählen lediglich Merkmalsinteraktionen basierend auf einer festgelegten Merkmalsmenge aus, um die Merkmalsmenge zu generieren. Erstere beschränken den Suchraum auf die Ebene der Merkmalsfelder, was zu grob ist, um fein abgestimmte Merkmale zu identifizieren. Zudem filtern sie nutzlose Merkmalsinteraktionen nicht aus, was zu erhöhten Berechnungskosten und einer verschlechterten Modellleistung führt. Letztere identifizieren nützliche Merkmalsinteraktionen aus allen verfügbaren Merkmalen, wodurch viele überflüssige Merkmale in der Merkmalsmenge verbleiben. In diesem Artikel stellen wir eine neuartige Methode namens OptFS vor, um diese Probleme zu lösen. Um die Auswahl von Merkmalen und deren Interaktionen zu vereinheitlichen, zerlegen wir die Auswahl jeder Merkmalsinteraktion in die Auswahl zweier korrelierter Merkmale. Diese Zerlegung ermöglicht es dem Modell, end-to-end trainierbar zu sein, unabhängig von verschiedenen Operationen zur Merkmalsinteraktion. Durch die Verwendung eines merkmalsbasierten Suchraums führen wir eine lernbare Schaltfläche (gate) ein, die bestimmt, ob jedes Merkmal in der Merkmalsmenge enthalten sein soll. Aufgrund des großskaligen Suchraums entwickeln wir ein Trainingsschema auf Basis der Fortsetzung (learning-by-continuation), um diese Gates zu lernen. Dadurch generiert OptFS eine Merkmalsmenge, die ausschließlich Merkmale enthält, die die endgültige Vorhersageleistung verbessern. Experimentell evaluieren wir OptFS an drei öffentlichen Datensätzen und zeigen, dass OptFS Merkmalsmengen optimieren kann, die die Modellleistung steigern und zudem sowohl Speicher- als auch Rechenkosten reduzieren.