2달 전

중간 사전 학습을 통한 표 이해

Julian Martin Eisenschlos; Syrine Krichene; Thomas Müller
중간 사전 학습을 통한 표 이해
초록

표 내포 판별은 테이블의 내용이 문장을 지지하거나 반박하는지를 이진 분류 작업으로 찾아내는 것으로, 언어와 테이블 구조를 해석하고 수치적 및 이산적 추론을 수행해야 합니다. 텍스트 내포에 대한 연구가 많이 이루어졌지만, 표 내포는 덜 연구되어 왔습니다. 우리는 Herzig 등(2020)이 제안한 표 기반 BERT 모델인 TAPAS를 적응시켜 내포를 인식하도록 하였습니다. 데이터 증강의 이점을 활용하여, 미세 조정 전에 중간 단계에서 학습되는 수백만 개의 자동 생성된 학습 예제로 균형 잡힌 데이터셋을 만들었습니다. 이 새로운 데이터는 표 내포뿐만 아니라 Iyyer 등(2017)이 제안한 순차적인 표 QA 작업(SQA)에도 유용합니다. BERT 모델의 입력으로 긴 예제를 사용할 수 있도록, 훈련과 예측 효율성을 크게 향상시키면서 정확도가 중등도로 감소하는 전처리 단계로서 표 프루닝 기술을 평가하였습니다. 이러한 다양한 방법들은 TabFact(Chen 등, 2020)와 SQA 데이터셋에서 새로운 최고 성능을 달성하였습니다.