HyperAIHyperAI
vor 18 Tagen

ITER: Iterative Transformer-basierte Entitäts- und Relationserkennung

{Michaela Geierhos, Florian Babl, Moritz Hennen}
ITER: Iterative Transformer-basierte Entitäts- und Relationserkennung
Abstract

Bei der Extraktion strukturierter Informationen aus Text ist die Erkennung von Entitäten und die Extraktion von Beziehungen von entscheidender Bedeutung. In jüngster Zeit wurden für beide Aufgaben autoregressive Ansätze entwickelt, die die strukturierte Darstellung der Informationen schrittweise generieren – ein zeit- und rechenintensiver Prozess. Dies wirft natürlich die Frage auf, ob autoregressive Methoden tatsächlich notwendig sind, um vergleichbare Ergebnisse zu erzielen. In dieser Arbeit stellen wir ITER vor, ein effizientes, auf Encodern basierendes Modell zur Relationsextraktion, das die Aufgabe in drei parallelisierbare Schritte unterteilt und somit eine kürzlich vorgestellte Sprachmodellierungsmethode erheblich beschleunigt: ITER erreicht eine Inferenz-Durchsatzrate von über 600 Proben pro Sekunde für ein großes Modell auf einer einzigen, konsumergerechten GPU. Zudem erzielen wir state-of-the-art Ergebnisse auf den Relationsextraktions-Datensätzen ADE und ACE05 und zeigen wettbewerbsfähige Leistung sowohl bei der Namensentitäten-Erkennung (GENIA und CoNLL03) als auch bei der Relationsextraktion (SciERC und CoNLL04).