要約
本稿では、強化学習における対照的非教師付き表現学習手法「CURL（Contrastive Unsupervised Representations for Reinforcement Learning）」を提案する。CURLは、対照学習を用いて生の画素データから高レベルの特徴を抽出し、得られた特徴量の上位で非対応（off-policy）制御を実行する。DeepMind Control SuiteおよびAtariゲームの複雑なタスクにおいて、従来のピクセルベースの手法（モデルベースおよびモデルフリーを問わず）を上回り、それぞれ100K環境ステップおよびインタラクションステップのベンチマークで1.9倍および1.2倍の性能向上を達成した。DeepMind Control Suiteでは、CURLは状態ベースの特徴量を用いる手法のサンプル効率にほぼ並ぶ初めての画像ベースのアルゴリズムである。本研究のコードはオープンソースとして公開されており、https://github.com/MishaLaskin/curl にて入手可能である。