Few-Shot-Objekterkennung und -Orientierungsschätzung für Objekte in der freien Natur

Die Erkennung von Objekten und die Schätzung ihrer Betrachtungspunkte in Bildern sind zentrale Aufgaben der 3D-Szene-Verstehens. Aktuelle Ansätze haben ausgezeichnete Ergebnisse bei sehr großen Benchmarks für Objekterkennung und Betrachtungspunkt-Schätzung erzielt. Dennoch sind die Leistungen bei neuen Objektkategorien mit wenigen Beispielen noch zurückgeblieben. In dieser Arbeit adressieren wir die Probleme der Few-Shot-Objekterkennung und der Few-Shot-Betrachtungspunkt-Schätzung. Wir zeigen auf beiden Aufgaben die Vorteile, das Netzwerk durch klassenrepräsentative Merkmale zu leiten, die aus Daten in verschiedenen Modalitäten extrahiert wurden: Bildausschnitte für die Objekterkennung und ausgerichtete 3D-Modelle für die Betrachtungspunkt-Schätzung. Trotz seiner Einfachheit übertrifft unsere Methode den Stand der Technik um einen großen Margin auf einer Reihe von Datensätzen, darunter PASCAL und COCO für Few-Shot-Objekterkennung sowie Pascal3D+ und ObjectNet3D für Few-Shot-Betrachtungspunkt-Schätzung. Zudem führen wir bei Nichtverfügbarkeit des 3D-Modells eine einfache kategorieunabhängige Methode zur Betrachtungspunkt-Schätzung ein, indem wir geometrische Ähnlichkeiten und konsistente Pose-Labeling über verschiedene Klassen nutzen. Obwohl dies die Leistung moderat reduziert, erzielt dieser Ansatz in diesem Szenario bessere Ergebnisse als frühere Methoden. Schließlich befassen wir uns zum ersten Mal mit der Kombination beider Few-Shot-Aufgaben anhand dreier anspruchsvoller Benchmarks zur Betrachtungspunkt-Schätzung im Freien (in the wild), nämlich ObjectNet3D, Pascal3D+ und Pix3D, wobei sehr vielversprechende Ergebnisse gezeigt werden.