要約
本論文では、常識推論のためのハイブリッドニューラルネットワーク（HNN）モデルを提案しています。HNNは、マスク言語モデルと意味的類似性モデルという2つの構成要素からなり、BERTベースのコンテキストエンコーダーを共有しながら、モデル固有の入出力層を使用します。HNNは3つの古典的な常識推論タスクで新たな最先端の結果を達成し、WNLIベンチマークで89%、ウィノグラードスキーマチャレンジ（WSC）ベンチマークで75.1%、PDP60ベンチマークで90.0%の精度を記録しました。アブレーションスタディによると、言語モデルと意味的類似性モデルは常識推論において相補的なアプローチであり、HNNは両者の強みを効果的に組み合わせていることが示されました。コードと事前学習済みモデルは、https://github.com/namisan/mt-dnn にて公開される予定です。