사전 훈련된 언어 모델에서 AMR-to-text 생성을 위한 구조적 어댑터

사전 훈련된 언어 모델(PLM)은 최근 그래프에서 텍스트로의 생성 작업에서 큰 진전을 이루었으며, 이는 입력 그래프를 시퀀스로 선형화한 후 PLM에 입력하여 표현을 추출하는 방식이다. 그러나 이러한 모델들은 자연어 데이터에서 사전 훈련되었기 때문에, 그래프 구조를 효율적으로 인코딩하는 것은 어려운 과제이다. 특히 구조화된 데이터를 모델링할 경우 분포 지식의 치명적인 상실(catastrophic forgetting)이 발생할 수 있다. 본 논문에서는 PLM에 그래프 구조를 인코딩하기 위한 어댑터 방법인 StructAdapt를 제안한다. 기존의 연구와 달리, StructAdapt는 그래프의 연결성 기반으로 노드 간의 상호작용을 효과적으로 모델링하며, 그래프 구조 인식 가능 어댑터 파라미터만을 훈련한다. 이를 통해 태스크에 특화된 지식을 통합하면서도 그래프의 위상 구조를 유지할 수 있다. 실증적으로 StructAdapt를 사용하여 PLM에 그래프 구조를 명시적으로 인코딩하는 이점이 있음을 보였으며, 두 개의 AMR-to-text 데이터셋에서 기존 최고 성능 모델을 초과하며, PLM 파라미터의 단지 5.1%만을 훈련함으로써 우수한 성능을 달성하였다.