작게 시작하고, 크게 생각하라: 대규모 지식 그래프 임베딩을 위한 하이퍼파라미터 최적화에 대해

지식 그래프 임베딩(KGE) 모델은 다중관계 데이터를 표현하고 추론하는 데 효과적이고 인기 있는 접근 방식이다. 기존 연구들은 KGE 모델이 하이퍼파라미터 설정에 민감하며, 적절한 선택은 데이터셋에 따라 달라진다는 점을 밝혀냈다. 본 논문에서는 매우 큰 지식 그래프에 대한 하이퍼파라미터 최적화(HPO)를 탐구한다. 이 경우 개별 하이퍼파라미터 구성의 평가 비용이 과도하게 높아진다. 기존 연구들은 이러한 비용을 줄이기 위해 다양한 휴리스틱 기법을 사용해 왔다. 예를 들어, 하위 그래프에서 학습하거나 더 적은 에포크 수로 학습하는 방식이다. 본 연구에서는 이러한 휴리스틱 및 기타 저비용 근사 기법의 품질과 비용 절감 효과를 체계적으로 논의하고 평가한다. 본 연구의 발견을 바탕으로, 그래프 축소 및 에포크 축소 기법을 결합한 다중 신뢰도(multi-fidelity) HPO 알고리즘인 GraSH를 제안한다. GraSH는 신뢰도를 단계적으로 높이는 다중 라운드 방식으로 작동하며, 대규모 KGE 모델에 대해 효율적으로 적용된다. 실험을 통해 GraSH가 큰 그래프에서 최첨단 성능을 저비용(총 3회 완전한 학습 실행)으로 달성함을 확인하였다.