Eine kritische Bewertung des Standes der Technik bei der Entitätenausrichtung

In dieser Arbeit führen wir eine umfassende Untersuchung zweier state-of-the-art (SotA)-Methoden für die Aufgabe der Entitätsausrichtung (Entity Alignment) in Wissensgraphen durch. Dazu untersuchen wir zunächst den Benchmarking-Prozess sorgfältig und identifizieren mehrere Schwächen, die die Berichterstattung der Ergebnisse in den ursprünglichen Arbeiten nicht immer vergleichbar machen. Zudem vermuten wir, dass es in der Gemeinschaft eine verbreitete Praxis ist, die Hyperparameter-Optimierung direkt an einem Testset vorzunehmen, was den informativen Wert der gemeldeten Leistung erheblich reduziert. Daher wählen wir eine repräsentative Auswahl an Benchmark-Datensätzen aus und beschreiben deren Eigenschaften. Zudem analysieren wir verschiedene Initialisierungen für die Entitätsdarstellungen, da diese einen entscheidenden Einfluss auf die Modellleistung haben. Darüber hinaus verwenden wir einen gemeinsamen Train-/Validierung-/Test-Split, um eine faire Bewertungssituation zu gewährleisten, in der alle Methoden auf allen Datensätzen evaluiert werden. In unserer Evaluation erzielen wir mehrere interessante Erkenntnisse: Während wir beobachten, dass SotA-Ansätze im Allgemeinen besser abschneiden als Baseline-Methoden, zeigen sie Schwierigkeiten, wenn die Datensätze Rauschen enthalten – was in den meisten realen Anwendungen der Fall ist. Zudem stellen wir in unserer Ablationsstudie fest, dass häufig bestimmte Merkmale der SotA-Methoden für eine gute Leistung entscheidender sind als bisher angenommen. Der Quellcode ist unter https://github.com/mberr/ea-sota-comparison verfügbar.