LiLT: 구조화된 문서 이해를 위한 간단하면서도 효과적인 언어 독립적 레이아웃 변환기

구조화된 문서 이해는 지능형 문서 처리에서 중요한 역할을 하기 때문에 최근에 많은 주목을 받고 있으며 상당한 진전을 이룩하였습니다. 그러나 대부분의 기존 관련 모델은 사전 학습 데이터 집합에 포함된 특정 언어(주로 영어)의 문서 데이터만 처리할 수 있어 매우 제한적입니다. 이러한 문제를 해결하기 위해, 우리는 단순하면서도 효과적인 언어 독립적 레이아웃 트랜스포머(LiLT, Language-independent Layout Transformer)를 제안합니다. LiLT는 단일 언어의 구조화된 문서에서 사전 학습될 수 있으며, 이후 해당하는 오프더shelf 단일언어/다중언어 사전 학습 텍스트 모델을 사용하여 다른 언어에서 직접 미세 조정(fine-tuning)될 수 있습니다. 8개 언어에 대한 실험 결과는 LiLT가 다양한 일반적으로 사용되는 다운스트림 벤치마크에서 경쟁력 있는 혹은 우수한 성능을 달성할 수 있음을 보여주며, 이는 문서 레이아웃 구조의 사전 학습으로부터 언어 독립적인 혜택을 얻을 수 있음을 시사합니다. 코드와 모델은 공개적으로 https://github.com/jpWang/LiLT에서 이용 가능합니다.