Command Palette
Search for a command to run...
UnifiedSKG: テキストからテキストへの言語モデルを用いた統合的かつ多機能な構造化知識の根拠付け
UnifiedSKG: テキストからテキストへの言語モデルを用いた統合的かつ多機能な構造化知識の根拠付け
Tianbao Xie; Chen Henry Wu; Peng Shi; Ruiqi Zhong; Torsten Scholak; Michihiro Yasunaga; Chien-Sheng Wu; Ming Zhong; Pengcheng Yin; Sida I. Wang; Victor Zhong; Bailin Wang; Chengzu Li; Connor Boyle; Ansong Ni; Ziyu Yao; Dragomir Radev; Caiming Xiong; Lingpeng Kong; Rui Zhang; Noah A. Smith; Luke Zettlemoyer; Tao Yu
概要
構造化知識基盤(SKG)は、データベースの意味解析や知識ベースの質問応答など、ユーザーのリクエストを完了するために構造化された知識を利用する技術です。SKGタスクの入力と出力が異種であるため、異なるコミュニティによって個別に研究されてきました。これにより、体系的かつ互換性のあるSKG研究が制限されていました。本論文では、この制限を克服するため、21のSKGタスクをテキスト対テキスト形式に統一したUnifiedSKGフレームワークを提案します。このフレームワークは、特定のタスク、ドメイン、またはデータセットに限定されずに、体系的なSKG研究を促進することを目指しています。我々はUnifiedSKGを使用してT5モデル(異なるサイズ)のベンチマークを行い、必要に応じて単純な修正を行うことでT5が21のタスクのほとんどで最先端の性能を達成することを示しました。さらに、多タスクプレフィックスチューニングがほとんどのタスクにおいて性能向上に寄与し、全体的な性能が大幅に改善されることも確認しました。UnifiedSKGはまた、ゼロショット学習とファーソット学習の調査を容易にし、T0, GPT-3, およびCodexがこれらの学習方法においてSKGでの苦戦していることを示しました。さらに、我々はUnifiedSKGを使用して、SKGタスク間での構造化知識エンコーディング変種に関する一連の制御実験を行いました。UnifiedSKGは新たなタスクへの拡張性が高く、オープンソースとしてhttps://github.com/hkunlp/unifiedskg で公開されています。