Adaptive Factorization Network: Lernen von adaptiven Ordnungs-Feature-Interaktionen

Verschiedene auf Faktorisierung basierende Methoden wurden vorgeschlagen, um zweite- oder höhere Ordnungskreuzmerkmale zur Steigerung der Leistung prädiktiver Modelle auszunutzen. Sie enumerieren im Allgemeinen alle Kreuzmerkmale bis zu einer vordefinierten maximalen Ordnung und identifizieren anschließend durch Modelltraining sinnvolle Merkmalsinteraktionen, was zwei Nachteile mit sich bringt. Erstens müssen sie einen Kompromiss zwischen der Ausdruckskraft höherer Ordnungskreuzmerkmale und den Rechenkosten eingehen, was zu suboptimalen Vorhersagen führt. Zweitens kann die Enumeration aller Kreuzmerkmale – einschließlich irrelevanter – zu rauschhaften Merkmalskombinationen führen, die die Modellleistung beeinträchtigen. In dieser Arbeit stellen wir den Adaptive Factorization Network (AFN) vor, ein neues Modell, das beliebige Ordnungskreuzmerkmale adaptiv aus den Daten lernt. Der Kern des AFN ist eine logarithmische Transformationsschicht, die die Potenz jedes Merkmals in einer Merkmalskombination in einen zu lernenden Koeffizienten umwandelt. Die experimentellen Ergebnisse auf vier realen Datensätzen belegen die überlegene prädiktive Leistung des AFN gegenüber aktuellen State-of-the-Art-Verfahren.