문서 이해를 위한 메시지 패싱 어텐션 네트워크

최근 그래프 신경망은 그래프 구조 데이터를 처리하는 매우 효과적인 프레임워크로 부상하고 있습니다. 이러한 모델들은 다양한 작업에서 최고 수준의 성능을 달성하였습니다. 대부분의 그래프 신경망은 메시지 전달, 정점 업데이트, 그리고 리드아웃 함수로 설명될 수 있습니다. 본 논문에서는 문서를 단어 동시 등장 네트워크로 표현하고, 메시지 전달 프레임워크를 자연어 처리(NLP)에 적용한 새로운 방법인 '문서 이해를 위한 메시지 전달 어텐션 네트워크(Message Passing Attention network for Document understanding, MPAD)'를 제안합니다. 또한 MPAD의 여러 계층적 변형도 제안합니다. 10개의 표준 텍스트 분류 데이터셋을 대상으로 수행된 실험 결과, 우리의 아키텍처가 최고 수준의 성능과 경쟁력을 보였습니다. 아블레이션 연구는 각 구성 요소가 성능에 미치는 영향에 대한 추가적인 통찰을 제공하였습니다. 코드는 공개적으로 이용 가능하며, 다음 주소에서 확인할 수 있습니다: https://github.com/giannisnik/mpad .