HyperAIHyperAI

Command Palette

Search for a command to run...

Intermediate Training von BERT für die Produktübereinstimmung

Goran Glavas Christian Bizer Ralph Peeters

Zusammenfassung

Transformer-basierte Modelle wie BERT haben den Stand der Technik für eine Vielzahl von Aufgaben im Bereich der natürlichen Sprachverarbeitung vorangetrieben. Die allgemeine Vortrainierung auf großen Korpora ermöglicht es Transformers, bereits mit geringen Mengen an Trainingsdaten für die spezifische Aufgabenanpassung gute Leistungen zu erzielen. In dieser Arbeit wenden wir BERT auf die Aufgabe der Produktpaarung im E-Commerce an und zeigen, dass BERT gegenüber anderen state-of-the-art-Methoden deutlich dateneffizienter ist. Darüber hinaus zeigen wir, dass sich ihre Effektivität durch einen zusätzlichen Vortrainierungsschritt, der große Sammlungen von Produktofferten nutzt, weiter steigern lässt. Dieser Zwischenvortrainierungsansatz führt zu einer hohen Leistung (>90 % F1) auf neuen, bisher nicht gesehenen Produkten, ohne dass eine produktbezogene Feinabstimmung erforderlich ist. Eine nachfolgende Feinabstimmung bringt zusätzliche Verbesserungen, wodurch sich bei kleinen Trainingsmengen bis zu 12 % F1 steigern lassen. Die Hinzufügung des Masked-Language-Modeling-Ziels im Zwischenvortrainierungsschritt zur weiteren Anpassung des Sprachmodells an den Anwendungsbereich führt zu einer zusätzlichen Steigerung von bis zu 3 % F1.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp