物体の発見と検出の学習

私たちは新規クラスの発見と位置特定（NCDL: Novel Class Discovery and Localization）の問題に取り組んでいます。この設定では、一部のオブジェクトクラスに対してのみ教師ありデータが存在するソースデータセットを前提としています。他のクラスのインスタンスは、ヒューマン・スーパービジョンなしで視覚的類似性に基づいて自動的に発見、分類、および位置特定される必要があります。NCDLに対処するために、私たちは2段階の物体検出ネットワークである領域提案型NCDL（RNCDL: Region-based NCDL）を提案します。このネットワークは、領域提案ネットワークを使用して関心領域（RoIs: Regions of Interest）を位置特定します。次に、各RoIをソースデータセットで見られる既知のクラスのいずれかまたは長尾分布制約が課された新しいクラスのいずれかに分類するようにネットワークを訓練します。これは現実世界におけるクラスの自然な頻度を反映しています。当該目的のためにエンドツーエンドで検出ネットワークを訓練することで、多様なクラスに対するすべての領域提案を分類する能力が身につきます。これはラベル付きオブジェクトクラス語彙に含まれないクラスも含みます。COCOおよびLVISデータセットを使用した実験では、当方法が従来のクラスタリングアルゴリズムに依存する多段階パイプラインよりも著しく効果的であることが示されました。さらに、大規模なVisual Genomeデータセットへの適用により当アプローチの一貫性を示しました。ここでも私たちのネットワークは直接的な教師あり学習なしで様々な意味論的なクラスを検出することに成功しました。