MemoNet: Effiziente Speicherung aller Cross-Feature-Repräsentationen mittels Multi-Hash-Codebook-Netzwerk für die CTR-Vorhersage

Neue Erkenntnisse im Bereich des Natural Language Processing (NLP) zeigen, dass die starke Speicherfähigkeit maßgeblich zum Erfolg von Large Language Models (LLM) beiträgt. Dies motiviert uns, explizit eine unabhängige Speichermechanismus in CTR-Ranking-Modelle einzuführen, um Darstellungen von Kreuzmerkmalen zu lernen und zu speichern. In dieser Arbeit schlagen wir den Multi-Hash Codebook NETwork (HCNet) als Speichermechanismus vor, um effizient Darstellungen von Kreuzmerkmalen in CTR-Aufgaben zu lernen und zu speichern. HCNet nutzt ein Multi-Hash-Codebook als zentrale Speicherstelle, und der gesamte Speicherprozess besteht aus drei Phasen: Multi-Hash-Adressierung, Speicherwiederherstellung und Merkmalsreduktion. Außerdem präsentieren wir ein neues CTR-Modell namens MemoNet, das HCNet mit einem DNN-Backbone kombiniert. Ausführliche experimentelle Ergebnisse auf drei öffentlichen Datensätzen sowie Online-Tests zeigen, dass MemoNet die Leistungsfähigkeit bestehender State-of-the-Art-Ansätze übertrifft. Darüber hinaus zeigt MemoNet ein Skalierungsgesetz, vergleichbar mit dem von Large Language Models im NLP, was bedeutet, dass wir die Größe des Codebooks in HCNet vergrößern können, um kontinuierlich Leistungssteigerungen zu erzielen. Unsere Arbeit unterstreicht die Bedeutung und Durchführbarkeit des Lernens und Speicherns von Darstellungen von Kreuzmerkmalen und eröffnet damit eine neue vielversprechende Forschungsrichtung.