초록
기존의 표 형식 표현 학습 연구는 BERT와 같은 사전 훈련된 언어 모델에서 파생된 자기 감독 목표 함수를 사용하여 표와 관련 텍스트를 공동으로 모델링합니다. 이러한 공동 사전 훈련은 표와 텍스트가 짝을 이루는 작업(예: 표에 대한 질문 응답)을 개선하지만, 우리는 이 방법이 관련 텍스트 없이 표만을 처리하는 작업(예: 누락된 셀 채우기)에서는 성능이 떨어짐을 보여주었습니다. 우리는 단순한 사전 훈련 목표(손상된 셀 검출)를 설계하여 오직 표 데이터만을 사용하여 학습하도록 하였으며, 이는 다양한 표 기반 예측 작업에서 최신 기술 수준에 도달하였습니다. 경쟁 모델들과 달리, 우리의 모델(TABBIE)은 모든 표 하위 구조(셀, 행, 열)의 임베딩을 제공하며, 훈련에 필요한 컴퓨팅 자원도 훨씬 적습니다. 우리 모델이 학습한 셀, 열, 행 표현에 대한 정성적 분석 결과, 이 모델이 복잡한 표 의미론과 숫자 추세를 이해하고 있음을 확인할 수 있었습니다.