Untersuchung der Robustheit vortrainierter Sprachmodelle für die Entitätenübereinstimmung

Der Ansatz des Fine-Tunings vortrainierter Sprachmodelle (Pre-trained Language Models, PLMs) hat sich bei der Entitätserkennung (Entity Matching, EM) als erfolgreich erwiesen. Trotz ihrer herausragenden Leistung neigen PLMs dazu, irreführende Korrelationen aus den Trainingsdaten zu lernen. In dieser Arbeit untersuchen wir, ob PLM-basierte Modelle für die Entitätserkennung in realen Anwendungen vertrauenswürdig sind, in denen die Datenverteilung von der der Trainingsdaten abweicht. Dazu entwickeln wir eine Evaluierungsbenchmarks, um die Robustheit von EM-Modellen zu bewerten und deren Einsatz in realen Szenarien zu fördern. Unsere Analysen zeigen, dass Datenungleichgewicht in den Trainingsdaten ein zentrales Problem für die Robustheit darstellt. Zudem stellen wir fest, dass Datenaugmentation allein nicht ausreicht, um ein Modell robust zu machen. Als Gegenmaßnahme schlagen wir einfache Modifikationen vor, die die Robustheit von PLM-basierten EM-Modellen verbessern können. Unsere Experimente belegen, dass unser vorgeschlagenes Modell im Vergleich zu aktuellen State-of-the-Art-EM-Modellen nicht nur bei der Generalisierung auf Domänen innerhalb des Trainingsdatensets überlegene Ergebnisse erzielt, sondern insbesondere die Robustheit erheblich steigert.