13일 전

대규모 그래프를 위한 데이터 증강으로서의 로버스트 최적화

Kezhi Kong, Guohao Li, Mucong Ding, Zuxuan Wu, Chen Zhu, Bernard Ghanem, Gavin Taylor, Tom Goldstein
대규모 그래프를 위한 데이터 증강으로서의 로버스트 최적화
초록

데이터 증강은 학습 데이터셋을 확장함으로써 신경망의 일반화 성능을 향상시키는 데 기여하지만, 그래프 데이터를 효과적으로 증강하여 GNN(Graph Neural Networks)의 성능을 높이는 방법은 여전히 해결되지 않은 과제로 남아 있다. 기존의 대부분의 그래프 정규화 기법은 엣지 추가 또는 제거를 통해 그래프의 위상 구조를 조작하는 데 초점을 맞추고 있으나, 본 연구에서는 노드 특징을 증강함으로써 성능 향상을 도모하는 새로운 접근을 제안한다. 우리는 훈련 과정에서 기울기 기반의 적대적 편향을 반복적으로 적용하여 노드 특징을 증강하는 FLAG(Free Large-scale Adversarial Augmentation on Graphs)를 제안한다. 본 방법은 입력 데이터의 미세한 변동에 대해 모델이 불변(invariant)이 되도록 유도함으로써, 분포 밖(out-of-distribution) 샘플에 대한 일반화 능력을 향상시키고, 테스트 시 성능을 개선한다. FLAG는 노드 분류, 링크 예측, 그래프 분류 등 다양한 그래프 데이터 작업에 적용 가능한 일반적인 접근법이며, 다양한 GNN 백본과 대규모 데이터셋에서도 유연하고 확장 가능한 특성을 지닌다. 광범위한 실험과 아블레이션 스터디를 통해 본 방법의 효과성과 안정성을 입증하였으며, 추가로 본 방법의 작동 원리를 더 깊이 이해할 수 있도록 직관적인 관찰 결과도 제시한다.

대규모 그래프를 위한 데이터 증강으로서의 로버스트 최적화 | 최신 연구 논문 | HyperAI초신경