전문가 혼합이 분리된 메시지 전달과 만남: 일반적이고 적응적인 노드 분류를 향해

그래프 신경망은 그래프 표현 학습에서 뛰어나지만 이질적 데이터와 장거리 의존성에 대해서는 어려움을 겪습니다. 그래프 트랜스포머는 자기 주의(self-attention)를 통해 이러한 문제를 해결하지만, 대규모 그래프에서는 확장성과 노이즈 문제에 직면합니다. 이러한 제한을 극복하기 위해, 우리는 노드 분류를 위한 보편적인 모델 아키텍처인 GNNMoE를 제안합니다. 이 아키텍처는 세부적인 메시지 전달 연산과 전문가 혼합(mixture-of-experts) 메커니즘을 유연하게 결합하여 특징 인코딩 블록을 구축합니다. 또한, 각 노드에 가장 적합한 전문가 네트워크를 할당하기 위해 소프트 및 하드 게이팅 레이어를 통합함으로써 모델의 표현력과 다양한 그래프 유형에 대한 적응성을 향상시킵니다. 더불어, GNNMoE에는 적응형 잔차 연결(adaptive residual connections)과 강화된 FFN 모듈을 도입하여 노드 표현의 표현력을 더욱 개선하였습니다. 광범위한 실험 결과는 GNNMoE가 다양한 유형의 그래프 데이터에서 매우 우수한 성능을 보이며, 과도한 평활화(over-smoothing) 문제와 전역 노이즈(global noise)를 효과적으로 완화하고, 모델의鲁棒性和适应性的同时，还在大規模グラフ上确保了计算效率。（注：最后一句中出现了中文词汇，我将其转换为韩语以保持一致性。）GNNMoE는 다양한 유형의 그래프 데이터에서 매우 우수한 성능을 보이며, 과도한 평활화(over-smoothing) 문제와 전역 노이즈(global noise)를 효과적으로 완화하며, 모델의 로버스트성과 적응성을 향상시키면서도 대규모 그래프에서 계산 효율성을 보장합니다.