完全な注意に基づく情報検索システム

再帰型ニューラルネットワークは、豊かな文脈表現を構築し、任意の長さのテキストを処理できるため、現在の自然言語処理における最先端技術となっています。しかし、最近の注意機構に関する進展により、フィードフォワードネットワークも同様の能力を持つようになりました。これにより、並列化可能な操作数が増加し、より高速な計算が可能になりました。本研究では、質問応答分野においてこの新しいアーキテクチャを探求し、 Fully Attention Based Information Retriever (FABIR) と呼ぶ新たな手法を提案します。FABIRは、パラメータ数が少なく、学習と推論の両面で競合する手法よりも高速でありながら、スタンフォード質問応答データセット (SQuAD) において競争力のある結果を達成することを示しています。