초록
본 연구에서는 지식 그래프 내 개체 정합(Entity Alignment) 작업에 대한 두 가지 최신 기술(SotA) 방법에 대해 광범위한 조사를 수행한다. 이를 위해 먼저 기준 비교(benchmarking) 과정을 철저히 검토하고, 원본 연구에서 보고된 결과가 항상 비교 가능하지 않은 여러 한계점을 식별한다. 또한, 공동체 내에서 흔히 발생하는 현상으로, 테스트 세트에 직접 하이퍼파라미터 최적화를 수행함으로써 보고된 성능의 정보가 감소한다는 점을 의심한다. 따라서 대표적인 기준 데이터셋 샘플을 선정하고, 각 데이터셋의 특성을 기술한다. 또한, 모델 성능에 결정적인 영향을 미치는 엔티티 표현의 초기화 방식에 대해 다양한 접근을 검토한다. 더불어 공통된 학습/검증/테스트 분할을 사용하여 모든 방법이 모든 데이터셋에서 공정하게 평가될 수 있도록 평가 환경을 구성한다. 평가 결과, 몇 가지 흥미로운 발견을 하였다. 대부분의 경우 SotA 접근법이 기준 모델보다 우수한 성능을 보였지만, 데이터셋에 노이즈가 포함된 경우, 즉 대부분의 실생활 응용 사례와 같이 실제 환경에서는 성능 저하를 보이는 경향이 있었다. 또한, 제거 실험(ablation study)를 통해 기존에 예상보다 훨씬 더 중요한 역할을 하는 SotA 방법의 다양한 특징들이 존재함을 확인하였다. 본 연구의 코드는 https://github.com/mberr/ea-sota-comparison 에서 공개되어 있다.