私たちはディープQラーニングの成功の基礎となるアイデアを連続的なアクションドメインに適応させました。本稿では、確定的ポリシーグラディエントに基づく、モデルフリーのアクター・クリティックアルゴリズムを提案します。このアルゴリズムは連続的なアクション空間で動作することができます。同じ学習アルゴリズム、ネットワークアーキテクチャ、ハイパーパラメータを使用することで、私たちのアルゴリズムは20以上のシミュレートされた物理タスクを堅実に解決します。これらのタスクにはカートポールスイングアップ、巧妙な操作、脚付き移動、自動車運転などの古典的な問題が含まれます。さらに、私たちのアルゴリズムはドメインの力学とその導関数に完全なアクセスを持つプランニングアルゴリズムによって見つかった方策と同等の性能を持つ方策を見つけることができます。多くのタスクにおいて、アルゴリズムはエンドツーエンドで方策を学習することができることも示しました：つまり、直接ピクセル入力から学習することが可能です。