초록
최근 Joint-Embedding Predictive Architectures (JEPAs)가 자기 지도 표현 학습을 위한 새로운이고 강력한 기술로 등장하였습니다. 이 기술은 컨텍스트 신호 x의 잠재 표현으로부터 대상 신호 y의 잠재 표현을 예측하여 에너지 기반 모델을 학습하는 것을 목표로 합니다. JEPAs는 대조 학습에서 전통적으로 요구되는 음성 및 양성 샘플의 필요성을 우회하면서 생성적 사전 학습과 관련된 과적합 문제를 피할 수 있습니다. 본 논문에서는 이 패러다임을 사용하여 그래프 레벨 표현을 효과적으로 모델링할 수 있음을 보이기 위해 Graph Joint-Embedding Predictive Architecture (Graph-JEPA)를 제안합니다. 특히, 마스킹 모델링을 활용하여 컨텍스트 하위 그래프의 잠재 표현에서 시작하여 마스킹된 하위 그래프의 잠재 표현을 예측하는 데 초점을 맞추었습니다. 그래프 레벨 개념에 자주 존재하는 암시적인 계층 구조를 표현에 부여하기 위해, 우리는 2D 평면에서 단위 쌍곡선 상의 인코딩된 하위 그래프 좌표를 예측하는 대체 예측 목적함수를 설계하였습니다. 다수의 실험 평가를 통해 Graph-JEPA가 그래프 분류, 회귀, 비동형 그래프 구분 등의 후속 작업 성능에서 보듯이 고도로 의미론적이고 표현력 있는 표현을 학습할 수 있음을 입증하였습니다. 코드는 https://github.com/geriskenderi/graph-jepa에서 제공됩니다.