초록
최근 인기 있는 그래프 신경망은 그래프 기반 반감독 학습을 위한 여러 표준 벤치마크 데이터셋에서 최고 수준의 정확도를 달성하며, 기존 접근 방식보다 크게 향상되었습니다. 이러한 아키텍처는 로컬 네이버후드의 은닉 상태를 집계하는 전파 계층과 완전 연결 계층을 번갈아가며 사용합니다. 놀랍게도, 모든 중간 완전 연결 계층을 제거한 선형 모델 역시 여전히 최고 수준의 모델과 비교할 만한 성능을 보여줍니다. 이는 라벨링된 예제 수가 적은 반감독 학습에서 중요한 매개변수의 수를 크게 줄입니다. 이로 인해 더욱 혁신적인 전파 계층 설계에 여지가 생깁니다. 이러한 통찰력을 바탕으로, 우리는 모든 중간 완전 연결 계층을 제거하고 그래프 구조를 고려하는 주의 메커니즘으로 전파 계층을 대체하는 새로운 그래프 신경망을 제안합니다. 주의 메커니즘은 동적이고 적응적인 로컬 요약 정보를 학습하여 더 정확한 예측을 수행할 수 있게 합니다. 벤치마크 인용 네트워크 데이터셋에 대한 여러 실험에서 우리의 접근 방식이 경쟁 방법론들을 능가함을 입증하였습니다. 이웃 간의 주의 가중치를 검토함으로써, 우리의 모델이 이웃 간 영향력에 대해 흥미로운 통찰력을 제공함을 보여주었습니다.