HyperAIHyperAI

Command Palette

Search for a command to run...

OptEmbed: Lernen einer optimalen Embedding-Tabelle für die Click-through-Rate-Vorhersage

Fuyuan Lyu Xing Tang Hong Zhu Huifeng Guo Yingxue Zhang Ruiming Tang Xue Liu

Zusammenfassung

Das Lernen der Embedding-Tabelle spielt eine zentrale Rolle bei der Vorhersage der Klickrate (Click-Through-Rate, CTR) hinsichtlich Modellleistung und Speicherverbrauch. Die Embedding-Tabelle ist ein zweidimensionaler Tensor, wobei die Achsen jeweils die Anzahl der Merkmalswerte und die Embedding-Dimension angeben. Um eine effiziente und wirksame Embedding-Tabelle zu erlernen, haben jüngere Arbeiten entweder unterschiedliche Embedding-Dimensionen für verschiedene Merkmalsfelder zugewiesen und die Anzahl der Embeddings jeweils reduziert oder Parameter der Embedding-Tabelle maskiert. Allerdings können alle bisherigen Ansätze keine optimale Embedding-Tabelle erzielen. Einerseits erfordern unterschiedliche Embedding-Dimensionen aufgrund der großen Anzahl an Merkmalen im Datensatz weiterhin einen erheblichen Speicherverbrauch. Andererseits führt die Reduzierung der Anzahl der Embeddings häufig zu einer Leistungseinbuße, die in der CTR-Vorhersage unakzeptabel ist. Schließlich führt das Pruning von Embedding-Parametern zu einer spärlichen Embedding-Tabelle, die schwer zu deployen ist. Um dieses Problem zu lösen, stellen wir einen optimalen Rahmen für das Lernen von Embedding-Tabellen, namens OptEmbed, vor, der eine praktikable und allgemeingültige Methode bereitstellt, um eine optimale Embedding-Tabelle für verschiedene Basis-CTR-Modelle zu finden. Konkret schlagen wir vor, redundante Embeddings auf Basis der Bedeutung der entsprechenden Merkmale durch lernbare Pruning-Schwellenwerte zu entfernen. Darüber hinaus betrachten wir die Zuweisung unterschiedlicher Embedding-Dimensionen als eine einzige Kandidatenarchitektur. Um die optimale Embedding-Dimension effizient zu suchen, entwerfen wir ein gleichmäßiges Sampling-Verfahren für die Embedding-Dimensionen, das alle Kandidatenarchitekturen gleichmäßig trainiert, wodurch Architektur-spezifische Parameter und lernbare Schwellenwerte gleichzeitig innerhalb eines einzigen Supernetzes trainiert werden. Anschließend schlagen wir eine evolutionäre Suchmethode basierend auf dem Supernet vor, um die optimale Embedding-Dimension für jedes Merkmalsfeld zu finden. Experimente auf öffentlichen Datensätzen zeigen, dass OptEmbed eine kompakte Embedding-Tabelle erlernen kann, die die Modellleistung zusätzlich verbessert.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp