SynTQA: テーブルベースの質問応答におけるテキストからSQLへの変換とE2E TQAのシナジー効果を活用した手法

テキストからSQLへの変換（Text-to-SQL）とエンドツーエンドの質問応答（E2E TQA）は、テーブルベースの質問応答タスクにおける二つの主要なアプローチです。複数のベンチマークで成功を収めていますが、これらの手法の比較や相乗効果の探索はまだ十分に行われていません。本論文では、最先端モデルをベンチマークデータセット上で評価することで、それぞれの異なる強みと弱点を特定しました。Text-to-SQLは、算術演算を含む質問や長いテーブルの処理において優れていることが示されました。一方、E2E TQAは曖昧な質問、非標準的なテーブルスキーマ、および複雑なテーブル内容の対処に優れています。両者の強みを組み合わせるため、モデル間での回答選択を通じて異なるモデルを統合する相乗的なテーブルベースの質問応答アプローチを提案します。この回答選択方法は、モデルタイプに依存しない特性を持っています。さらに実験により、特徴量に基づく回答選択器または大規模言語モデル（LLM）に基づく回答選択器を使用してモデルをアンサンブル化することで、個々のモデルよりも大幅に性能が向上することが確認されました。