ORBIT: Ein Echtwelt-Datensatz für Few-Shot-Unterricht in der Objekterkennung

Die Objekterkennung hat in den letzten zehn Jahren erhebliche Fortschritte gemacht, basiert jedoch weiterhin hauptsächlich auf einer großen Anzahl hochwertiger Trainingsbeispiele pro Objekt-Kategorie. Im Gegensatz dazu könnte das Lernen neuer Objekte aus nur wenigen Beispielen zahlreiche anspruchsvolle Anwendungen in Bereichen wie Robotik oder Benutzerpersonalisierung ermöglichen. Die meisten Forschungsarbeiten im Bereich Few-Shot-Learning werden jedoch durch Benchmark-Datensätze angetrieben, die die hohe Variabilität nicht widerspiegeln, der diese Anwendungen in der realen Welt gegenüberstehen werden. Um diese Lücke zu schließen, präsentieren wir den ORBIT-Datensatz und das zugehörige Benchmark-System, das auf der realen Anwendung von lehrbaren Objekterkennern für Menschen mit Blindheit oder Sehschwäche basiert. Der Datensatz umfasst 3.822 Videos von 486 Objekten, die von Menschen mit Blindheit oder Sehschwäche mit ihren Mobiltelefonen aufgenommen wurden. Das Benchmark-System modelliert ein realistisches, äußerst anspruchsvolles Erkennungsproblem und bietet eine reichhaltige Plattform, um Forschung zur Robustheit unter Bedingungen mit wenigen Beispielen und hoher Variabilität voranzutreiben. Wir etablieren den ersten State-of-the-Art für dieses Benchmark-System und zeigen, dass erhebliches Innovationspotenzial besteht, das das Potenzial hat, eine breite Palette realweltbezogener Anwendungen der Bildverarbeitung – einschließlich Werkzeuge für die Community von Menschen mit Blindheit oder Sehschwäche – zu beeinflussen. Wir stellen den Datensatz unter https://doi.org/10.25383/city.14294597 und den Benchmark-Code unter https://github.com/microsoft/ORBIT-Dataset zur Verfügung.