TURL: Table Understanding through Representation Learning TURL: 표 이해를 위한 표현 학습

웹상의 관계 테이블은 방대한 양의 지식을 저장하고 있습니다. 이러한 테이블의 풍부함 덕분에, 테이블 이해 분야에서 다양한 작업에 있어 큰 진전이 이루어졌습니다. 그러나 기존 연구는 대부분 특정 작업에 특화된 고도로 설계된 특징과 모델 구조에 의존하고 있습니다. 본 논문에서는 관계 웹 테이블에 사전 학습/미세 조정 패러다임을 도입하는 새로운 프레임워크인 TURL을 제시합니다. 사전 학습 단계에서, 우리의 프레임워크는 비지도 방식으로 관계 테이블의 깊은 문맥 표현을 학습합니다. 사전 학습된 표현을 사용하는 보편적인 모델 설계는 최소한의 작업 특화 미세 조정만으로도 다양한 작업에 적용될 수 있습니다. 특히, 우리는 관계 테이블의 행-열 구조를 모델링하기 위한 구조 인지형 Transformer 인코더를 제안하며, 대규모 라벨되지 않은 데이터에서 의미와 지식을 포착하기 위한 새로운 마스킹된 엔티티 복구(Masked Entity Recovery, MER) 목표를 소개합니다. 우리는 6가지 다른 테이블 이해 작업(예: 관계 추출, 셀 채우기)으로 구성된 벤치마크를 통해 TURL을 체계적으로 평가하였습니다. 결과적으로 TURL은 모든 작업에 잘 일반화되며, 거의 모든 경우에서 기존 방법보다 크게 우수한 성능을 보였습니다.