다중 작업 자기-distillation을 활용한 그래프 기반 반감독 학습

그래프 컨볼루션 네트워크는 그래프 기반 반감독 학습 분야에서 큰 진전을 이루었다. 기존의 방법들은 그래프 간선으로 연결된 노드들이 유사한 특성과 레이블을 가지기 쉬우므로, 국소적인 그래프 구조에 의해 부드러워진 특징들이 클래스 유사성을 드러낼 수 있다고 가정한다. 그러나 실제 세계의 많은 시나리오에서는 그래프 구조와 레이블 사이에 일치하지 않는 경우가 흔히 발생하며, 이러한 구조는 오류를 유발하는 특징이나 레이블을 전파할 수 있어 모델 성능에 악영향을 미칠 수 있다. 본 논문에서는 그래프 컨볼루션 네트워크에 자기지도 학습(self-supervised learning)과 자기-디스틸리케이션(self-distillation)을 도입하여, 구조 측면과 레이블 측면에서 각각의 불일치 문제를 별도로 해결하는 다중 작업 자기-디스틸리케이션 프레임워크를 제안한다. 먼저, 사전 텍스트 작업(pre-text tasks)을 기반으로 한 자기지도 학습 파이프라인을 제안하여 그래프 내 다양한 수준의 유사성을 포착한다. 이 과정에서는 사전 텍스트 작업과 타깃 작업을 함께 최적화함으로써 특징 추출 과정이 더 복잡한 근접성 정보를 포착하도록 유도한다. 그 결과, 구조 측면에서 국소적 특징 집계가 향상된다. 두 번째로, 자기-디스틸리케이션은 모델 자체의 소프트 레이블(soft labels)을 추가적인 지도 신호로 활용하며, 이는 레이블 스무딩(label smoothing)과 유사한 효과를 낸다. 분류 파이프라인과 자기지도 학습 파이프라인에서 도출된 지식을 통합하여 모델의 일반화 능력을 레이블 측면에서 향상시킨다. 실험 결과, 제안한 방법은 여러 전형적인 그래프 컨볼루션 아키텍처에서 뛰어난 성능 향상을 보였다.