HyperAIHyperAI

Command Palette

Search for a command to run...

Eine kritische Bewertung des Standes der Technik bei der Entitätenausrichtung

Max Berrendorf Ludwig Wacker Evgeniy Faerman

Zusammenfassung

In dieser Arbeit führen wir eine umfassende Untersuchung zweier state-of-the-art (SotA)-Methoden für die Aufgabe der Entitätsausrichtung (Entity Alignment) in Wissensgraphen durch. Dazu untersuchen wir zunächst den Benchmarking-Prozess sorgfältig und identifizieren mehrere Schwächen, die die Berichterstattung der Ergebnisse in den ursprünglichen Arbeiten nicht immer vergleichbar machen. Zudem vermuten wir, dass es in der Gemeinschaft eine verbreitete Praxis ist, die Hyperparameter-Optimierung direkt an einem Testset vorzunehmen, was den informativen Wert der gemeldeten Leistung erheblich reduziert. Daher wählen wir eine repräsentative Auswahl an Benchmark-Datensätzen aus und beschreiben deren Eigenschaften. Zudem analysieren wir verschiedene Initialisierungen für die Entitätsdarstellungen, da diese einen entscheidenden Einfluss auf die Modellleistung haben. Darüber hinaus verwenden wir einen gemeinsamen Train-/Validierung-/Test-Split, um eine faire Bewertungssituation zu gewährleisten, in der alle Methoden auf allen Datensätzen evaluiert werden. In unserer Evaluation erzielen wir mehrere interessante Erkenntnisse: Während wir beobachten, dass SotA-Ansätze im Allgemeinen besser abschneiden als Baseline-Methoden, zeigen sie Schwierigkeiten, wenn die Datensätze Rauschen enthalten – was in den meisten realen Anwendungen der Fall ist. Zudem stellen wir in unserer Ablationsstudie fest, dass häufig bestimmte Merkmale der SotA-Methoden für eine gute Leistung entscheidender sind als bisher angenommen. Der Quellcode ist unter https://github.com/mberr/ea-sota-comparison verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp