RLAS-BIABC：改良型ABCアルゴリズムで強化されたBERTモデルを用いた強化学習ベースの回答選択

回答選択（Answer Selection, AS）は、オープンドメイン質問応答（Question Answering, QA）問題における重要なサブタスクである。本稿では、注目機構に基づく長短期記憶（LSTM）と、双方向変換器からのエンコーダ表現（Bidirectional Encoder Representations from Transformers, BERT）による単語埋め込みを基盤とし、事前学習に改良された人工蜂群（Artificial Bee Colony, ABC）アルゴリズムと、強化学習に基づくバックプロパゲーション（BP）学習アルゴリズムを組み合わせたAS手法、RLAS-BIABCを提案する。BERTは下流タスクに統合され、タスク固有のアーキテクチャとして微調整可能であり、事前学習済みのBERTモデルは多様な言語的特徴を捉えることができる。従来の手法では、2クラス分類器として、正例・負例ペアを用いてASモデルを学習する。正例ペアは質問と真の回答を含み、負例ペアは質問と偽の回答を含む。出力は正例に対して1、負例に対して0となるべきである。通常、負例の数は正例よりも多いことから、分類の不均衡が生じ、システム性能が著しく低下する。これを解決するために、我々は分類を逐次的決定プロセスとして定式化し、エージェントが各ステップでサンプルを一つ取り出し、分類を行う。各分類操作に対してエージェントは報酬を受けるが、多数派クラスの報酬は少数派クラスの報酬よりも低くなるように設計されている。最終的に、エージェントは方策重みの最適値を探索する。方策重みの初期値には、改良されたABCアルゴリズムを用いることで、局所最適解に陥る問題を回避する。ABCアルゴリズムは多くのタスクにおいて優れた性能を発揮するが、隣接する食物源位置の探索において、個体間の関連ペアの適応度を無視するという課題を有している。