HyperAIHyperAI

Command Palette

Search for a command to run...

Skalierung der Erkennung von Objekten mit offenen Vokabularien

Matthias Minderer; Alexey Gritsenko; Neil Houlsby

Zusammenfassung

Die Erkennung von Objekten mit offenen Vokabularien hat stark von vortrainierten visuellen Sprachmodellen profitiert, ist jedoch weiterhin durch die Menge der verfügbaren Detektions-Trainingsdaten eingeschränkt. Obwohl die Trainingsdaten für Detektion durch die Verwendung von Web-Bild-Text-Paaren als schwache Überwachung erweitert werden können, wurde dies bisher nicht in vergleichbaren Größenordnungen wie bei der Bild-Level-Vortrainierung erreicht. In diesem Beitrag skalieren wir die Detektionsdaten mittels Selbsttrainierung, bei der ein vorhandener Detektor Pseudo-Box-Annotierungen auf Bild-Text-Paaren generiert. Hauptausforderungen bei der Skalierung der Selbsttrainierung sind die Auswahl des Labelraums, das Filtern von Pseudo-Annotierungen und die Trainings-effizienz. Wir stellen das Modell OWLv2 und das OWL-ST-Selbsttrainierungsrezept vor, welche diese Herausforderungen angehen. OWLv2 übertreffen bereits bei vergleichbaren Trainingsgrößen (~10 Mio. Beispiele) die Leistung früherer Stand-of-the-Art-Detektoren für offene Vokabulare. Mit OWL-ST können wir jedoch auf über 1 Mrd. Beispiele skalieren, was zu weiteren erheblichen Verbesserungen führt: Bei einer L/14-Architektur verbessert OWL-ST den AP (Average Precision) für seltene Klassen im LVIS-Datensatz, für die das Modell keine menschlichen Box-Annotierungen gesehen hat, von 31,2 % auf 44,6 % (43 % relative Verbesserung). OWL-ST ermöglicht somit eine Web-skalierte Trainierung für die Lokalisierung in offenen Welten, ähnlich wie dies bereits für Bildklassifizierung und Sprachmodelle der Fall war.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp