AutoWeird: Seltsame translationsbasierte Bewertungsfunktion, identifiziert durch zufällige Suche

Die Score-Funktion (SF) misst die Plausibilität von Tripeln in Wissensgraphen. Unterschiedliche Score-Funktionen können zu erheblichen Unterschieden in der Leistung der Link-Vorhersage auf verschiedenen Wissensgraphen führen. In diesem Bericht beschreiben wir eine ungewöhnliche Score-Funktion, die mittels zufälliger Suche im Open Graph Benchmark (OGB) gefunden wurde. Diese Funktion, die als AutoWeird bezeichnet wird, verwendet lediglich das Zielentitätselement und die Relation eines Tripels, um dessen Plausibilitäts-Score zu berechnen. Experimentelle Ergebnisse zeigen, dass AutoWeird auf dem Datensatz ogbl-wikikg2 eine Top-1-Leistung erzielt, jedoch auf dem Datensatz ogbl-biokg erheblich schlechtere Ergebnisse als andere Methoden liefert. Durch die Analyse der Verteilung der Zielentitäten und des Evaluierungsprotokolls beider Datensätze weisen wir den unerwarteten Erfolg von AutoWeird auf ogbl-wikikg2 auf eine unangemessene Evaluation und eine stark konzentrierte Verteilung der Zielentitäten zurück. Solche Ergebnisse könnten weitere Forschung anregen, um genauere Methoden zur Bewertung der Leistung verschiedener Link-Vorhersagemethoden für Wissensgraphen zu entwickeln.