Lernen aus verrauschten Labels für entitätszentrierte Informationsextraktion

Neuere Ansätze zur Informationsextraktion beruhen auf der Ausbildung tiefer neuronaler Modelle. Solche Modelle neigen jedoch leicht zu Überanpassung an verrauschte Etiketten und leiden unter Leistungsabfall. Obwohl die Filterung verrauschter Etiketten in großen Lernressourcen sehr kostspielig ist, zeigen jüngere Studien, dass solche Etiketten mehr Trainingschritte benötigen, um memoriert zu werden, und häufiger vergessen werden als saubere Etiketten, wodurch sie im Verlauf des Trainings identifizierbar werden. Ausgehend von diesen Eigenschaften schlagen wir einen einfachen Co-Regularisierungs-Framework für entitätszentrierte Informationsextraktion vor, der mehrere neuronale Modelle mit identischer Architektur, aber unterschiedlicher Parameterinitialisierung umfasst. Diese Modelle werden gemeinsam mit den auf die Aufgabe zugeschnittenen Verlustfunktionen optimiert und durch eine Übereinstimmungsverlustfunktion regularisiert, um ähnliche Vorhersagen zu generieren, was die Überanpassung an verrauschte Etiketten verhindert. Umfassende Experimente an zwei weit verbreiteten, jedoch verrauschten Benchmarks für die Informationsextraktion, TACRED und CoNLL03, belegen die Wirksamkeit unseres Frameworks. Wir stellen unseren Code der Forschungsgemeinschaft zur Verfügung, um zukünftige Forschungsarbeiten zu unterstützen.