2달 전

HyperAggregation: 그래프 엣지에 대한 하이퍼네트워크를 이용한 집합화

Nicolas Lell; Ansgar Scherp
HyperAggregation: 그래프 엣지에 대한 하이퍼네트워크를 이용한 집합화
초록

HyperAggregation은 그래프 신경망을 위한 하이퍼네트워크 기반 집계 함수입니다. 이 함수는 현재 이웃의 크기에 따라 동적으로 가중치를 생성하는 하이퍼네트워크를 사용하여 이 가중치로 이웃을 집계합니다. 이렇게 생성된 가중치를 사용한 집계는 변수 크기의 정점 이웃에 대한 MLP-Mixer 채널 혼합과 유사하게 이루어집니다. 우리는 두 가지 모델에서 HyperAggregation을 시연합니다. GraphHyperMixer는 MLP-Mixer를 기반으로 한 모델이며, GraphHyperConv는 GCN에서 파생되었지만 하이퍼네트워크 기반 집계 함수를 사용합니다. 다양한 벤치마크 데이터셋에서 정점 분류, 그래프 분류, 그래프 회귀 작업을 수행하여 실험을 진행했습니다. 결과는 HyperAggregation이 귀속적 및 전이적 설정 모두에서 호모필릭 및 헤테로필릭 데이터셋에 효과적으로 사용될 수 있음을 보여줍니다. GraphHyperConv는 GraphHyperMixer보다 우수하며 특히 전이적 설정에서 강점을 보입니다. 헤테로필릭 데이터셋인 Roman-Empire에서는 새로운 최고 성능을 달성했습니다. 그래프 레벨 작업에서는 우리의 모델들이 유사한 크기의 모델들과 비슷한 성능을 보였습니다. 감소 연구(ablation studies)는 다양한 하이퍼파라미터 선택에 대한 견고성을 조사합니다. HyperAggregation의 구현 코드와 모든 실험을 재현할 수 있는 코드는 https://github.com/Foisunt/HyperAggregation 에서 제공됩니다.

HyperAggregation: 그래프 엣지에 대한 하이퍼네트워크를 이용한 집합화 | 최신 연구 논문 | HyperAI초신경