그래프 정보를 활용한 트랜스포머 기반 AMR 파싱

초록 의미 표현(AMR, Abstract Meaning Representation)은 주어진 텍스트를 나타내는 의미 그래프 추상화를 제공하는 의미 해석 형식입니다. 현재 접근 방식은 BART나 T5와 같은 자기 회귀 언어 모델을 기반으로 하며, 교사 강요(Teacher Forcing)를 통해 문장에서 AMR 그래프의 선형화된 버전을 얻기 위해 미세 조정(fine-tuning)됩니다. 본 논문에서는 Transformer 아키텍처에 대한 수정을 탐구하는 모델과 방법인 LeakDistill을 소개합니다. 구조적 어댑터(structural adapters)를 사용하여 학습된 표현에 그래프 정보를 명시적으로 통합하고 AMR 파싱 성능을 개선합니다. 실험 결과, 훈련 시 인코더에 단어-노드 정렬(word-to-node alignment)을 사용하여 그래프 구조 정보를 임베딩(embedding)함으로써 추가 데이터 없이도 자기 지식 증류(self-knowledge distillation)를 통해 최신의 AMR 파싱 성능을 얻을 수 있음을 보여줍니다. 우리는 코드를 \url{http://www.github.com/sapienzanlp/LeakDistill}에서 공개합니다.