状態集合を用いた非モデル型エピソード制御

エピソード制御（Episodic control）は、高いサンプル効率を実現する一方で、大きな記憶容量と計算リソースを要するという課題を抱えている。本研究では、これらの要件を低減するための単純なヒューリスティックを提案し、モデルフリー・エピソード制御（MFEC）への応用を示す。アタリゲームを用いた実験の結果、ハイパーパラメータを慎重に選定した場合、このヒューリスティックによりMFECの計算負荷が顕著に低減されつつ、性能の著しい低下は生じないことが明らかになった。その結果、エピソード制御は強化学習タスクに適用する上でより現実的かつ実用的な選択肢となることが示された。