Lernen, Objekte zu entdecken und zu erkennen

Wir befassen uns mit dem Problem der Entdeckung und Lokalisierung neuer Klassen (NCDL). In diesem Szenario gehen wir von einem Quelldatensatz aus, der nur für einige Objektklassen überwacht wurde. Instanzen anderer Klassen müssen auf Basis visueller Ähnlichkeit automatisch entdeckt, klassifiziert und lokalisiert werden, ohne menschliche Überwachung. Um das NCDL zu lösen, schlagen wir ein zweistufiges Objekterkennungsnetzwerk vor, das auf regionsbasierten NCDL (RNCDL) basiert und ein Region Proposal Network verwendet, um Regionen von Interesse (RoIs) zu lokalisieren. Anschließend trainieren wir unser Netzwerk, um jede RoI zu klassifizieren – entweder als eine der bekannten Klassen, die im Quelldatensatz gesehen wurden, oder als eine der neuen Klassen – unter Berücksichtigung einer Langschweifverteilungsbedingung für die Klassenzuordnungen, die die natürliche Häufigkeit von Klassen in der realen Welt widerspiegelt. Durch das End-to-End-Training unseres Erkennungsnetzwerks mit diesem Ziel lernt es, alle Regionsvorschläge für eine große Vielfalt an Klassen zu klassifizieren, einschließlich solcher, die nicht Teil des etikettierten Objektklassen-Vokabulars sind. Unsere Experimente mit den Datensätzen COCO und LVIS zeigen, dass unsere Methode erheblich effektiver ist als Mehrtstufige Pipelines, die auf traditionellen Clusteralgorithmen basieren. Darüber hinaus demonstrieren wir die Allgemeingültigkeit unserer Herangehensweise durch Anwendung unserer Methode auf einen groß angelegten Visual Genome-Datensatz, bei dem unser Netzwerk erfolgreich lernt, verschiedene semantische Klassen ohne direkte Überwachung zu erkennen.