11일 전

세그먼티드 그래프-베르트를 통한 그래프 인스턴스 모델링

Jiawei Zhang
세그먼티드 그래프-베르트를 통한 그래프 인스턴스 모델링
초록

그래프 인스턴스 표현 학습에서, 다양한 그래프 인스턴스 크기와 노드 순서 불변성(노드 순서에 민감하지 않은 성질)은 기존의 표현 학습 모델이 효과적으로 작동하지 못하게 만드는 주요 장애물이었다. 본 논문에서는 원래 노드 표현 학습 작업을 위해 설계된 GRAPH-BERT가 그래프 인스턴스 표현 학습에 얼마나 효과적인지 검토한다. GRAPH-BERT를 새로운 문제 설정에 적합하도록 재설계하기 위해, 우리는 이를 분할형 아키텍처(segmented architecture)로 재구성하였으며, 본 논문에서는 간결한 참조를 위해 이를 SEG-BERT(Segmented GRAPH-BERT)라 명명한다. SEG-BERT는 더 이상 노드 순서에 민감한 입력이나 기능 구성 요소를 포함하지 않으며, 그래프 노드의 순서 불변성에 자연스럽게 대응할 수 있다. 또한 SEG-BERT는 분할형 아키텍처를 채택하고, 그래프 인스턴스 크기를 통일하기 위해 세 가지 서로 다른 전략인 전체 입력(full-input), 패딩/자르기(padding/pruning), 그리고 세그먼트 이동(segment shifting)을 도입한다. SEG-BERT는 비지도 방식으로 사전 학습이 가능하며, 필요 시 미세 조정(fine-tuning)을 거쳐 새로운 작업으로 직접 전이할 수 있다. 우리는 일곱 개의 그래프 인스턴스 벤치마크 데이터셋을 대상으로 실험을 수행하여 SEG-BERT의 효과성을 검증하였으며, 그 결과 SEG-BERT는 비교 대상 방법들 중 여섯 개의 데이터셋에서 유의미한 성능 우위를 보이며 우수한 성능을 나타냈다.

세그먼티드 그래프-베르트를 통한 그래프 인스턴스 모델링 | 최신 연구 논문 | HyperAI초신경