OptEmbed: Lernen einer optimalen Embedding-Tabelle für die Click-through-Rate-Vorhersage

Das Lernen der Embedding-Tabelle spielt eine zentrale Rolle bei der Vorhersage der Klickrate (Click-Through-Rate, CTR) hinsichtlich Modellleistung und Speicherverbrauch. Die Embedding-Tabelle ist ein zweidimensionaler Tensor, wobei die Achsen jeweils die Anzahl der Merkmalswerte und die Embedding-Dimension angeben. Um eine effiziente und wirksame Embedding-Tabelle zu erlernen, haben jüngere Arbeiten entweder unterschiedliche Embedding-Dimensionen für verschiedene Merkmalsfelder zugewiesen und die Anzahl der Embeddings jeweils reduziert oder Parameter der Embedding-Tabelle maskiert. Allerdings können alle bisherigen Ansätze keine optimale Embedding-Tabelle erzielen. Einerseits erfordern unterschiedliche Embedding-Dimensionen aufgrund der großen Anzahl an Merkmalen im Datensatz weiterhin einen erheblichen Speicherverbrauch. Andererseits führt die Reduzierung der Anzahl der Embeddings häufig zu einer Leistungseinbuße, die in der CTR-Vorhersage unakzeptabel ist. Schließlich führt das Pruning von Embedding-Parametern zu einer spärlichen Embedding-Tabelle, die schwer zu deployen ist. Um dieses Problem zu lösen, stellen wir einen optimalen Rahmen für das Lernen von Embedding-Tabellen, namens OptEmbed, vor, der eine praktikable und allgemeingültige Methode bereitstellt, um eine optimale Embedding-Tabelle für verschiedene Basis-CTR-Modelle zu finden. Konkret schlagen wir vor, redundante Embeddings auf Basis der Bedeutung der entsprechenden Merkmale durch lernbare Pruning-Schwellenwerte zu entfernen. Darüber hinaus betrachten wir die Zuweisung unterschiedlicher Embedding-Dimensionen als eine einzige Kandidatenarchitektur. Um die optimale Embedding-Dimension effizient zu suchen, entwerfen wir ein gleichmäßiges Sampling-Verfahren für die Embedding-Dimensionen, das alle Kandidatenarchitekturen gleichmäßig trainiert, wodurch Architektur-spezifische Parameter und lernbare Schwellenwerte gleichzeitig innerhalb eines einzigen Supernetzes trainiert werden. Anschließend schlagen wir eine evolutionäre Suchmethode basierend auf dem Supernet vor, um die optimale Embedding-Dimension für jedes Merkmalsfeld zu finden. Experimente auf öffentlichen Datensätzen zeigen, dass OptEmbed eine kompakte Embedding-Tabelle erlernen kann, die die Modellleistung zusätzlich verbessert.