要約
最近の研究では、選択タスクにおける顕著な性能向上が報告されており、その大部分は学習中に情報価値の高いネガティブサンプルを組み込むことによるものとされている。従来のハードネガティブサンプルの構築手法は、意味ある教師信号を提供するが、学習中に変化しない静的なサンプルに依存しているため、最適な性能には至らない場合がある。動的ハードネガティブサンプル抽出（dynamic hard negative sampling）は、モデルの状態変化に応じて継続的に適応する点でこの制約を克服する。しかし、この手法は高い計算コストを伴うため、特定のモデルアーキテクチャにしか適用が制限される。このような課題を解決するために、本研究では効率的な動的ハードネガティブサンプル抽出（Efficient Dynamic Hard Negative Sampling: EDHNS）を提案する。EDHNSは、識別が容易なネガティブサンプルを事前にフィルタリングすることで、学習中にモデルが計算する候補数を削減し、計算効率を向上させる。さらに、モデルがすでに高い信頼度を示している質問-候補ペアについては損失関数の計算から除外する。これにより、学習時間のさらなる短縮が可能となる。これらのアプローチは、計算負荷を最小限に抑えつつ学習の質を維持し、学習プロセスをスムーズにしている。DSTC9、DSTC10、Ubuntu、およびEコマースベンチマークにおける広範な実験結果から、EDHNSがベースラインモデルを著しく上回ることを確認し、対話選択タスクにおける有効性を実証した。