要約
意味解析は、複数の証拠を組み合わせて計算する必要がある複雑な自然言語の分析において優れた性能を発揮します。しかし、意味解析用のデータセットには、単一のウェブドキュメントから回答できる事実質問が多数含まれています。本論文では、意味解析に基づく質問応答モデルを、ウェブを検索しウェブスニペットのみから回答を抽出する質問応答基準と比較することで評価することを提案します。このアプローチは、組み合わせ的な言語に焦点を当てたデータセットであるCOMPLEXQUESTIONSで調査され、当該モデルは合理的な性能（F1スコア35対最先端技術の41）を得ることが確認されました。分析結果によると、当該モデルは複合的な疑問詞を含む複雑な質問では良好なパフォーマンスを示しましたが、関係の合成や最上級形容詞を含む質問では苦戦することがわかりました。