HyperAIHyperAI

Command Palette

Search for a command to run...

MemoNet: Effiziente Speicherung aller Cross-Feature-Repräsentationen mittels Multi-Hash-Codebook-Netzwerk für die CTR-Vorhersage

Pengtao Zhang Junlin Zhang

Zusammenfassung

Neue Erkenntnisse im Bereich des Natural Language Processing (NLP) zeigen, dass die starke Speicherfähigkeit maßgeblich zum Erfolg von Large Language Models (LLM) beiträgt. Dies motiviert uns, explizit eine unabhängige Speichermechanismus in CTR-Ranking-Modelle einzuführen, um Darstellungen von Kreuzmerkmalen zu lernen und zu speichern. In dieser Arbeit schlagen wir den Multi-Hash Codebook NETwork (HCNet) als Speichermechanismus vor, um effizient Darstellungen von Kreuzmerkmalen in CTR-Aufgaben zu lernen und zu speichern. HCNet nutzt ein Multi-Hash-Codebook als zentrale Speicherstelle, und der gesamte Speicherprozess besteht aus drei Phasen: Multi-Hash-Adressierung, Speicherwiederherstellung und Merkmalsreduktion. Außerdem präsentieren wir ein neues CTR-Modell namens MemoNet, das HCNet mit einem DNN-Backbone kombiniert. Ausführliche experimentelle Ergebnisse auf drei öffentlichen Datensätzen sowie Online-Tests zeigen, dass MemoNet die Leistungsfähigkeit bestehender State-of-the-Art-Ansätze übertrifft. Darüber hinaus zeigt MemoNet ein Skalierungsgesetz, vergleichbar mit dem von Large Language Models im NLP, was bedeutet, dass wir die Größe des Codebooks in HCNet vergrößern können, um kontinuierlich Leistungssteigerungen zu erzielen. Unsere Arbeit unterstreicht die Bedeutung und Durchführbarkeit des Lernens und Speicherns von Darstellungen von Kreuzmerkmalen und eröffnet damit eine neue vielversprechende Forschungsrichtung.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp