HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

R2D2: Zuverlässiger und wiederholbarer Detektor und Beschreiber

{Martin Humenberger Jerome Revaud Cesar De Souza Philippe Weinzaepfel}

R2D2: Zuverlässiger und wiederholbarer Detektor und Beschreiber

Abstract

Die Detektion von Interessenspunkten und die lokale Beschreibung von Merkmalen sind grundlegende Schritte in vielen Anwendungen der Computer Vision. Traditionelle Ansätze basieren auf dem „Detect-then-Describe“-Paradigma, bei dem getrennte, handgebaute Methoden verwendet werden, um zunächst wiederholbare Keypoints zu identifizieren und diese anschließend mit einer lokalen Beschreibung zu repräsentieren. Kürzlich haben neuronale Netzwerke, die mit Metrik-Lernverlusten trainiert wurden, diese Techniken eingeholt, wobei der Fokus auf der Lernung wiederholbarer Aufmerksamkeitskarten für die Keypoint-Detektion oder auf der Lernung von Beschreibern an bereits detektierten Keypoint-Positionen liegt. In dieser Arbeit argumentieren wir, dass wiederholbare Regionen nicht notwendigerweise diskriminativ sind und daher zu der Auswahl suboptimaler Keypoints führen können. Zudem behaupten wir, dass Beschreiber nur in Regionen gelernt werden sollten, in denen eine Zuordnung mit hoher Zuverlässigkeit möglich ist.Daher schlagen wir vor, die Keypoint-Detektion und -Beschreibung gemeinsam mit einem Vorhersage-Modell für die Diskriminativität der lokalen Beschreiber zu lernen. Dies ermöglicht es, mehrdeutige Bereiche zu vermeiden und führt somit zu zuverlässigeren Keypoint-Detektion und -Beschreibung. Unser Ansatz zur gleichzeitigen Detektion und Beschreibung liefert gleichzeitig spärliche, wiederholbare und zuverlässige Keypoints, die die Leistungszahlen aktueller State-of-the-Art-Detektoren und -Beschreiber auf dem HPatches-Datensatz sowie auf der jüngsten Aachen Day-Night-Localisierungs-Benchmark übertrifft.

Benchmarks

BenchmarkMethodikMetriken
camera-localization-on-aachen-day-night-1R2D2 WASF N8 (full scale, 10K kpts)
Acc @ 0.5m, 2°: 45.9
Acc @ 1m, 5°: 66.3
Acc @ 5m, 10°: 88.8
image-matching-on-imc-phototourismR2D2
mean average accuracy @ 10: 0.56345

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
R2D2: Zuverlässiger und wiederholbarer Detektor und Beschreiber | Forschungsarbeiten | HyperAI