16일 전

이비 그래프 AMR 파서: 이질적 어텐션을 이용한 접근

Han He, Jinho D. Choi
이비 그래프 AMR 파서: 이질적 어텐션을 이용한 접근
초록

이중affine 디코더와 결합된 트랜스포머는 텍스트에서 그래프로의 변환(task)인 AMR 파싱에 효과적으로 적용되어 최신 기술 수준의 성능을 달성해왔다. 그러나 기존의 많은 연구들은 아크 또는 레이블 예측 중 하나 또는 둘 다에 대해 이중affine 디코더에 의존하고 있다. 그러나 디코더가 사용하는 대부분의 특징은 이미 트랜스포머에 의해 학습될 수 있다. 본 논문에서는 토큰, 개념, 레이블 등의 이질적인 데이터를 하나의 입력으로 통합하여 트랜스포머가 주의(attention)를 학습하도록 하고, 트랜스포머에서 생성된 주의 행렬만을 활용하여 AMR 그래프의 모든 요소(개념, 아크, 레이블)를 예측하는 새로운 접근법을 제안한다. 제안한 모델은 기존의 최신 기술 수준의 그래프 파서보다 훨씬 적은 파라미터를 사용하지만, AMR 2.0 및 3.0 데이터셋에서 유사하거나 더 높은 정확도를 보였다.

이비 그래프 AMR 파서: 이질적 어텐션을 이용한 접근 | 최신 연구 논문 | HyperAI초신경