我々はゼロショット動画オブジェクトセグメンテーション（VOS）という難問に取り組んでいます。これは、手動の初期設定なしで、動画内の複数の移動物体を完全に自動的にセグメンテーションし、追跡することです。この問題を、物体提案を利用し、空間と時間の両方におけるグループ化に関する共同推論として扱います。我々は提案選択と共同グループ化を実現可能な形で行うためのネットワークアーキテクチャを提案します。重要なのは、このネットワークを強化学習によって訓練することで、全体の動画をセグメンテーションするための最適な非短視的なグループ化決定の系列を学習させることです。標準的な教師あり手法とは異なり、これにより非微分可能な重複ベースの評価指標に基づいて直接最適化を行うことが可能になります。我々がALBAと呼ぶ提案手法は、DAVIS 2017 [2]、FBMS [20]およびYouTube-VOS [27]という3つのベンチマークにおいて従来の最先端技術を超える性能を示しています。