要約
制御されたテーブルからテキストへの生成は、テーブルの強調表示された部分を自然言語で記述するタスクを指す。従来の最先端（SOTA）システムは、依然としてシーケンス・トゥ・シーケンス生成法を採用しており、テーブルを線形構造としてしか捉えておらず、テーブルのレイアウトが変化すると脆弱な性質を持つ。本研究では、この枠組みを越えるために、（1）テーブル内のコンテンツ要素間の関係を効果的に表現すること、および（2）コンテンツに依存しない構造的変換に対してモデルのロバスト性を確保することを目的とする。そのために、構造に敏感な自己注意機構を用いてテーブルを符号化する、等価性学習（equivariance learning）フレームワークを提案する。この手法により、完全な自己注意構造を、順序に依存しないグラフ注意構造に削減し、同じ行または列に属するセル間の連結構造を捉える。また、構造的な観点から関連するセルと関係のないセルを区別できる。さらに、位置符号化機構を修正し、同一セル内のトークン間の相対的位置関係を保持しつつ、異なるセル間では位置不変性を強制する。本技術は既存のテーブルからテキストへの生成モデルに自由に統合可能であり、T5ベースのモデルにおいてToTToおよびHiTabの性能を向上させた。さらに、ToTToのより困難なバージョンにおいても、以前のSOTAシステムが変換に基づくデータ拡張を用いても顕著な性能低下を示す中で、本手法は安定した高い性能を維持した。コードは以下のURLで公開されている：https://github.com/luka-group/Lattice。