11일 전

최대 베이즈 스매치 앙상블 디스틸레이션을 통한 AMR 구문 분석

Young-Suk Lee, Ramon Fernandez Astudillo, Thanh Lam Hoang, Tahira Naseem, Radu Florian, Salim Roukos
최대 베이즈 스매치 앙상블 디스틸레이션을 통한 AMR 구문 분석
초록

최근 3년 동안 AMR 파싱은 아키텍처 개선과 전이 학습 등의 복합적 요인으로 인해 예전에 없었던 성능 향상을 경험했다. 또한 자기학습 기법도 성능 향상에 기여해왔다. 그러나 최근 고성능 파서들 대부분에서 자기학습과 실버 데이터 증강의 효과가 점차 약화되고 있는 것으로 나타났다. 본 논문에서는 이러한 실버 데이터 증강의 한계를 극복하기 위해 Smatch 기반의 앙상블 기법과 앙상블 디스틸레이션을 결합하는 방안을 제안한다. 광범위한 실험을 통해 단일 모델 기반의 영어 AMR 파서 성능을 새로운 최고 수준인 85.9(AMR2.0), 84.3(AMR3.0)으로 끌어올렸으며, 실버 데이터 증강에서 다시 상당한 성능 향상을 달성하였다. 또한 중국어, 독일어, 이탈리아어, 스페인어에 대한 다국어 AMR 파싱에서도 새로운 최고 성능을 달성하였다. 마지막으로 제안된 기법이 도메인 적응에 미치는 영향을 탐구하여, QALD-9에서 인간 레이블링 데이터 수준의 성능 향상을 달성하고, BioAMR 분야에서도 새로운 최고 성능을 기록함을 보였다.

최대 베이즈 스매치 앙상블 디스틸레이션을 통한 AMR 구문 분석 | 최신 연구 논문 | HyperAI초신경