SocialIQA: 社会的相互作用に関する常識的な推論

私たちは、社会的状況に関する常識的推論のための最初の大規模ベンチマークであるSocial IQaを紹介します。Social IQaには、日常的な様々な状況における感情的および社会的知能を探究するための38,000件の選択肢付き質問が含まれています（例：Q: 「ジョーダンはトレーシーに秘密を打ち明けたいと思ったので、ジョーダンはトレーシーに体を寄せました。ジョーダンがこれを行った理由は何ですか？」 A: 「他の人が聞かないようにする」）。クラウドソーシングを通じて、社会的交流に関する正解と不正解の常識的な質問を集めました。新しいフレームワークを使用することで、作業者に異なるが関連のある質問に対する正しい回答を提供させることで、不正解の回答におけるスタイル上の問題を軽減しています。実証結果は、事前学習された言語モデルに基づく既存の質問応答モデルと比較して、私たちのベンチマークが人間のパフォーマンス（20%以上の差）に対して挑戦的なものであることを示しています。特に、Social IQaを常識知識の転移学習リソースとして確立し、複数の常識的推論タスク（ウィノグラッドスキーマ、COPA）において最先端の性能を達成しています。