Multi$^2$OIE: BERT를 기반으로 한 다중 헤드 어텐션을 활용한 다국어 오픈 정보 추출

본 논문에서는 BERT와 다중 헤드 어텐션을 결합하여 개방형 정보 추출(open information extraction, open IE)을 수행하는 Multi$^2$OIE를 제안한다. 본 모델은 효율적이고 효과적인 관사 추출 방법을 갖춘 시퀀스 레이블링 시스템이다. 기존의 양방향 LSTM 아키텍처를 대체하기 위해 다중모달 트랜스포머(Multimodal Transformer)의 쿼리(query), 키(key), 밸류(value) 구조를 차용하여 다중 헤드 어텐션을 도입하였다. Multi$^2$OIE는 Re-OIE2016 및 CaRB라는 두 가지 벤치마크 평가 데이터셋에서 기존의 시퀀스 레이블링 시스템들보다 뛰어난 성능을 보이며, 높은 계산 효율성을 유지한다. 또한, 다국어 BERT를 활용하여 제안한 방법을 다국어 개방형 정보 추출에 적용하였다. 스페인어 및 포르투갈어에 대해 새로 제안된 벤치마크 데이터셋을 기반으로 한 실험 결과, 대상 언어의 학습 데이터 없이도 기존의 다국어 시스템들을 능가하는 성능을 입증하였다.