HyperAIHyperAI
vor 17 Tagen

Retrieval-Augmented Generation-basierte Relationsextraktion

Sefika Efeoglu, Adrian Paschke
Retrieval-Augmented Generation-basierte Relationsextraktion
Abstract

Information Extraction (IE) ist ein transformierender Prozess, der unstrukturierte Textdaten durch die Anwendung von Entitäten- und Relationsextraktionsmethoden (RE) in eine strukturierte Form überführt. Die Identifizierung der Beziehung zwischen einem Paar von Entitäten spielt innerhalb dieses Rahmens eine entscheidende Rolle. Trotz der Vielzahl existierender Techniken zur Relationsextraktion hängt ihre Wirksamkeit stark von der Verfügbarkeit annotierter Daten und erheblicher Rechenressourcen ab. Um diesen Herausforderungen zu begegnen, erweisen sich große Sprachmodelle (LLMs) als vielversprechende Lösungen; sie können jedoch aufgrund ihres eigenen Trainingsdatenmaterials hallucinierende Antworten liefern. Um diese Einschränkungen zu überwinden, wird in dieser Arbeit ein auf Retrieved-Augmented Generation basierendes Verfahren zur Relationsextraktion (RAG4RE) vorgeschlagen, das einen Weg zur Verbesserung der Leistung von Relationsextraktionsaufgaben eröffnet.In dieser Arbeit wurde die Wirksamkeit unseres RAG4RE-Ansatzes anhand verschiedener LLMs evaluiert. Durch die Nutzung etablierter Benchmarks wie TACRED, TACREV, Re-TACRED sowie der SemEval RE-Datensätze verfolgen wir das Ziel, die Effektivität unseres RAG4RE-Ansatzes umfassend zu bewerten. Insbesondere setzen wir prominente LLMs wie Flan T5, Llama2 und Mistral in unserer Untersuchung ein. Die Ergebnisse unserer Studie zeigen, dass unser RAG4RE-Ansatz die Leistung traditioneller RE-Methoden, die ausschließlich auf LLMs basieren, übertrifft, was besonders deutlich im TACRED-Datensatz und dessen Varianten sichtbar wird. Zudem erzielt unser Ansatz eine bemerkenswerte Performance im Vergleich zu früheren RE-Methoden sowohl auf den TACRED- als auch auf den TACREV-Datensätzen und unterstreicht damit seine Effektivität und das Potenzial für die Weiterentwicklung von Relationsextraktionsaufgaben im Bereich der natürlichen Sprachverarbeitung.