要約
最近導入されたBERTモデルは、いくつかの言語理解ベンチマークで強力な性能を示しています。本論文では、常識推論のためのBERTの単純な再実装について説明します。我々は、BERTによって生成されるアテンションが直接的に代名詞解釈問題やウィノグラッドスキーマチャレンジなどのタスクに利用できることを示します。提案するアテンションガイダンスによる常識推論手法は概念的には単純ですが、経験的には強力です。複数のデータセットに対する実験分析により、提案システムはすべての場合において優れた性能を発揮し、従来報告されていた最先端技術を大幅に上回ることが確認されました。結果は、BERTが暗黙的にエンティティ間の複雑な関係を確立することを学んでいることを示唆していますが、常識推論タスクの解決には巨大なテキストコーパスから学習した非監督モデルだけでは不十分である可能性があります。