ViZDoom: ビジュアル強化学習のためのDoomベースのAI研究プラットフォーム

最近の深層ニューラルネットワークの進歩により、ピクセルデータからアタリ2600ゲームで人間レベルのコントローラーを獲得する効果的な視覚ベースの強化学習手法が開発されました。しかし、アタリ2600ゲームは非現実的な2D環境と第三者視点を用いているため、実世界のタスクとは異なります。本稿では、生の視覚情報から強化学習研究を行うための新しいテストベッドプラットフォームを提案します。このプラットフォームは、半リアルな3D世界での第一人者視点（First-Person Perspective）を採用しています。このソフトウェアはViZDoomと呼ばれ、古典的なファーストパーソンシューター『ドゥーム』に基づいています。ViZDoomは、スクリーンバッファを使用してゲームをプレイするボットを開発可能にするものです。ViZDoomは軽量で高速であり、ユーザーがシナリオを作成できる便利なメカニズムにより非常にカスタマイズ可能です。実験部分では、基本的な移動と射撃のタスクとより複雑な迷路探索問題という2つのシナリオにおいて、環境を試験的に使用してボットの学習を行いました。Q学習と経験再生を使用した畳み込み深層ニューラルネットワーク（Convolutional Deep Neural Networks）によって、両方のシナリオで能力のあるボットを訓練することができました。これらのボットは人間らしい行動を示しました。結果はViZDoomがAI研究プラットフォームとして有用であることを確認し、3Dリアルな第一人者視点環境における視覚的な強化学習が実現可能であることを示唆しています。