ディスコースマーカーの採掘による教師なし文表現学習

現在の最先端の自然言語処理（NLP）システムは、手動でアノテーションされたデータセットに大きく依存しており、これらのデータセットの構築には多大なコストがかかる。未アノテーションデータの利用、特に文間のディスコースマーカーの利用については、データの希少性と非効率的な抽出方法のために十分に行われていない。本研究では、関連するディスコースマーカーを持つ文ペアを自動的に発見する手法を提案し、これを大量のデータに適用した。結果得られたデータセットには、174 のディスコースマーカーが含まれており、偶々（coincidentally）や驚くべきことに（amazingly）などの稀なマーカーでも各々 10,000 例以上が含まれている。我々はこのデータを使用して、転移可能な文埋め込みを学習するための教師データとして利用した。さらに、ディスコースマーカー予測を通じた文表現学習が異なる転移タスクにおいて最先端の結果を達成しているにもかかわらず、モデルが文間の意味的関係を利用しているかどうかは明確ではないという点を示した。これによりさらなる改善の余地があることが示唆される。当該データセットは公開されている (https://github.com/synapse-developpement/Discovery)。