주류의 그래프 신경망(GNN)은 그래프 간선에 과도하게 의존하고 있으며, 이미 여러 심각한 성능 문제들이 관측된 바 있다. 예를 들어, 정지 상태 문제(suspended animation problem)와 과도한 평활화 문제(over-smoothing problem) 등이 그 예이다. 또한, 그래프의 본질적으로 상호 연결된 특성으로 인해 그래프 내부에서 병렬 처리가 불가능하며, 이는 대규모 그래프의 경우 특히 중요한 문제로 부상한다. 메모리 제약으로 인해 노드 간 배치 처리가 제한되기 때문이다. 본 논문에서는 기존의 그래프 컨볼루션 또는 집계 연산자 없이 순전히 어텐션 메커니즘에 기반한 새로운 그래프 신경망, 즉 GRAPH-BERT(Graph-based BERT)를 제안한다. GRAPH-BERT는 전체 대규모 입력 그래프를 직접 입력받는 대신, 로컬 컨텍스트 내에서 링크가 없는 샘플링된 서브그래프를 사용하여 학습한다. 이 방식을 통해 GRAPH-BERT는 독립적인 모드로 효과적으로 학습될 수 있다. 또한, 사전 학습된 GRAPH-BERT는 감독 레이블 정보나 특정 응용 목적의 목적 함수가 존재하는 경우, 직접 다른 응용 과제에 전이 가능하거나 필요한 미세 조정(fine-tuning)을 통해 활용할 수 있다. 우리는 여러 그래프 벤치마크 데이터셋에서 GRAPH-BERT의 효과성을 검증하였다. 사전 학습 과정에서 노드 속성 재구성 및 구조 복원 작업을 기반으로, 노드 분류 및 그래프 클러스터링 과제에 대해 GRAPH-BERT를 추가로 미세 조정하였다. 실험 결과, GRAPH-BERT가 기존의 GNN들에 비해 학습 효율성과 효율성 측면에서 모두 우수한 성능을 보임을 입증하였다.