구조 인지형 등변성 학습을 통한 강건한(제어 가능한) 테이블 텍스트 생성

제어 가능한 테이블-텍스트 생성은 테이블의 강조된 하위 부분에 대해 자연어 설명을 생성하는 것을 목표로 한다. 기존의 최고 성능(SOTA) 시스템들은 여전히 단순히 테이블을 선형 구조로만 처리하는 시퀀스-투-시퀀스 생성 방식을 사용하고 있으며, 이는 테이블의 레이아웃이 변경될 경우 취약하다. 우리는 이러한 패러다임을 넘어서기 위해 (1) 테이블 내 콘텐츠 조각 간의 관계를 효과적으로 표현하고, (2) 콘텐츠는 유지되나 구조만 변하는 변환에 대해 모델의 강건성을 확보하는 것을 목표로 한다. 이를 위해 구조 인지형(self-attention) 메커니즘을 활용한 등변성(equivariance) 학습 프레임워크를 제안한다. 이 프레임워크는 전체 자기주의(self-attention) 구조를 순서 불변(order-invariant) 그래프 주의(graph attention)로 단순화하여, 동일한 행 또는 열에 속한 셀들 간의 연결된 그래프 구조를 효과적으로 포착한다. 또한, 구조적 관점에서 관련 셀과 비관련 셀을 구분할 수 있도록 한다. 본 프레임워크는 또한 동일 셀 내 토큰들의 상대적 위치를 유지하면서, 서로 다른 셀 간의 위치 불변성(position invariance)을 강제하는 방식으로 위치 인코딩 메커니즘을 개선한다. 제안하는 기술은 기존의 테이블-텍스트 생성 모델에 자유롭게 통합 가능하며, T5 기반 모델의 성능을 향상시켜 ToTTo 및 HiTab 데이터셋에서 더 나은 성과를 달성한다. 더 나아가, 더 어려운 버전의 ToTTo에서 기존 SOTA 시스템들이 변환 기반 데이터 증강을 사용해도 성능이 급격히 저하되는 상황에서, 본 기술은 유의미한 성능을 유지한다. 코드는 https://github.com/luka-group/Lattice 에 공개되어 있다.