Intermediate Training von BERT für die Produktübereinstimmung

Transformer-basierte Modelle wie BERT haben den Stand der Technik für eine Vielzahl von Aufgaben im Bereich der natürlichen Sprachverarbeitung vorangetrieben. Die allgemeine Vortrainierung auf großen Korpora ermöglicht es Transformers, bereits mit geringen Mengen an Trainingsdaten für die spezifische Aufgabenanpassung gute Leistungen zu erzielen. In dieser Arbeit wenden wir BERT auf die Aufgabe der Produktpaarung im E-Commerce an und zeigen, dass BERT gegenüber anderen state-of-the-art-Methoden deutlich dateneffizienter ist. Darüber hinaus zeigen wir, dass sich ihre Effektivität durch einen zusätzlichen Vortrainierungsschritt, der große Sammlungen von Produktofferten nutzt, weiter steigern lässt. Dieser Zwischenvortrainierungsansatz führt zu einer hohen Leistung (>90 % F1) auf neuen, bisher nicht gesehenen Produkten, ohne dass eine produktbezogene Feinabstimmung erforderlich ist. Eine nachfolgende Feinabstimmung bringt zusätzliche Verbesserungen, wodurch sich bei kleinen Trainingsmengen bis zu 12 % F1 steigern lassen. Die Hinzufügung des Masked-Language-Modeling-Ziels im Zwischenvortrainierungsschritt zur weiteren Anpassung des Sprachmodells an den Anwendungsbereich führt zu einer zusätzlichen Steigerung von bis zu 3 % F1.