2ヶ月前

Re2G: 検索、再順位付け、生成

Michael Glass; Gaetano Rossiello; Md Faisal Mahbub Chowdhury; Ankita Rajaram Naik; Pengshan Cai; Alfio Gliozzo
Re2G: 検索、再順位付け、生成
要約

GPT-3やT5が示しているように、パラメータ空間が大きくなるにつれてトランスフォーマーの能力は向上します。しかし、大量の知識を必要とするタスクでは、ノンパラメトリックメモリを使用することで、計算コストやGPUメモリ要件の部分線形増加でモデルの能力が大幅に向上します。最近のRAGやREALMなどのモデルでは、コーパスからのパスージを用いたニューラル初期検索を条件付き生成に導入しています。私たちはこの研究領域をさらに発展させ、Re2G(Retrieval and Reranking for Generation)を提案します。これは、ニューラル初期検索と再ランキングを組み合わせたBARTベースのシーケンス・ツー・シーケンス生成です。私たちの再ランキング手法は、比較不能なスコアを持つソースからの検索結果を統合することも可能で、BM25とニューラル初期検索のアンサンブルを実現できます。システム全体での学習のために、私たちは目標シーケンス出力のみに基づいて初期検索、再ランキング、および生成を行うための新しい知識蒸留変種を導入しました。この手法により、ゼロショットスロットフィリング、質問応答、事実確認、対話という4つの異なるタスクにおいて大きな改善が見られました。KILT リーダーボードでの以前の最先端技術に対して相対的な改善率は9%から34%でした。当社はコードをオープンソースとして提供しており、以下のURLからアクセスできます:https://github.com/IBM/kgi-slot-filling/tree/re2g

Re2G: 検索、再順位付け、生成 | 最新論文 | HyperAI超神経