Command Palette
Search for a command to run...
TabFact: 大規模テーブルベースの事実確認データセット
TabFact: 大規模テーブルベースの事実確認データセット
Wenhu Chen Hongmin Wang Jianshu Chen Yunkai Zhang Hong Wang Shiyang Li Xiyou Zhou William Yang Wang
概要
与えられた証拠に基づいて文章の仮説が成立するかどうかを確認する問題、すなわち事実検証は、自然言語理解と意味表現の研究において重要な役割を果たしています。しかし、既存の研究は主に非構造化証拠(例えば、自然言語の文や文書、ニュースなど)の処理に制限されており、表やグラフ、データベースなどの構造化証拠に基づく検証は十分に探究されていません。本論文では、半構造化データを証拠として用いた事実検証を特に研究することを目指しています。この目的のために、16,000件のウィキペディア表を使用して118,000件の人間によって注釈された自然言語のステートメントを含む大規模なデータセット「TabFact」を構築しました。これらのステートメントは、「包含される」(ENTAILED) または「反駁される」(REFUTED) のいずれかでラベル付けされています。TabFactは挑戦的であり、ソフトな言語的な推論とハードな象徴的な推論の両方を必要とするためです。これらの推論課題に対処するために、私たちは2つの異なるモデルを設計しました:Table-BERTと潜在プログラムアルゴリズム (LPA)。Table-BERTは最先端の事前学習済み言語モデルを使用し、表とステートメントを連続ベクトルにエンコードして検証を行うように設計されています。一方、LPAはステートメントをプログラムに解析し、それらを表に対して実行することで二値結果を得て検証を行います。両方法とも類似した精度を達成していますが、依然として人間の性能には大きく及ばない状況です。また、包括的な分析を行い、将来の大きな機会があることを示しています。「TabFact」データセットのデータとコードは \url{https://github.com/wenhuchen/Table-Fact-Checking} で提供されています。