초록
점수 함수(SF)는 지식 그래프 내 삼중항의 타당성을 측정한다. 다양한 점수 함수는 서로 다른 지식 그래프에서 링크 예측 성능에 큰 차이를 초래할 수 있다. 본 보고서에서는 오픈 그래프 벤치마크(OGB)에서 무작위 탐색을 통해 발견한 이상한 점수 함수에 대해 설명한다. 이 점수 함수는 AutoWeird라고 명명되며, 삼중항 내 꼬리 엔티티와 관계만을 사용하여 타당성 점수를 계산한다. 실험 결과, AutoWeird는 ogbl-wikikg2 데이터셋에서 상위 1위 성능을 달성했으나, ogbl-biokg 데이터셋에서는 다른 방법들에 비해 훨씬 낮은 성능을 보였다. 이러한 두 데이터셋의 꼬리 엔티티 분포 및 평가 프로토콜을 분석한 결과, AutoWeird가 ogbl-wikikg2에서 예상치 못한 성공을 거둔 원인은 평가 방법의 부적절함과 꼬리 엔티티의 집중적 분포에 기인한다고 판단된다. 이러한 결과는 지식 그래프의 다양한 링크 예측 방법에 대한 정확한 평가 방법에 대해 더 깊이 있는 연구를 촉진할 수 있을 것으로 기대된다.