PyTorch-BigGraph: 대규모 그래프 임베딩 시스템

그래프 임베딩 방법은 그래프에서 비지도 노드 특성을 생성하여 다양한 기계 학습 작업에 활용할 수 있습니다. 특히 산업 응용 분야에서 현대의 그래프는 수십억 개의 노드와 수조 개의 엣지를 포함하고 있어, 기존의 임베딩 시스템이 처리할 수 있는 범위를 초과합니다. 본 연구에서는 이러한 문제를 해결하기 위해 전통적인 다중 관계 임베딩 시스템을 수정하여 수십억 개의 노드와 수조 개의 엣지를 가진 그래프까지 확장할 수 있는 PyTorch-BigGraph (PBG) 시스템을 제시합니다. PBG는 그래프 파티셔닝을 사용하여 단일 머신이나 분산 환경에서 임의로 큰 임베딩을 훈련시킬 수 있습니다. 우리는 일반적인 벤치마크에서 기존 임베딩 시스템과 유사한 성능을 보여주면서도, 임의로 큰 그래프까지 확장하고 여러 머신에서 병렬화할 수 있는 능력을 입증하였습니다. 또한 PBG를 이용하여 여러 대규모 소셜 네트워크 그래프와 1억 개 이상의 노드 및 20억 개 이상의 엣지를 포함하는 전체 Freebase 데이터셋에서 임베딩을 훈련시키고 평가하였습니다.