ObjectNet-Datensatz: Neubewertung und Korrektur

Kürzlich stellten Barbu et al. ein Datenset namens ObjectNet vor, das Gegenstände in alltäglichen Situationen enthält. Sie zeigten einen dramatischen Leistungsabfall von State-of-the-Art-Objekterkennungsmodellen auf diesem Datenset. Aufgrund der Bedeutung und der Implikationen ihrer Ergebnisse hinsichtlich der Generalisierungsfähigkeit tiefer Modelle, betrachten wir ihre Befunde erneut. Wir weisen auf ein zentrales Problem in ihrer Arbeit hin: die Anwendung von Objekterkennern auf Szenen mit mehreren Objekten, anstatt auf isolierte Objekte. Letzteres führt bei Verwendung unseres Codes zu einer Leistungssteigerung um etwa 20–30 %. Im Vergleich zu den in der ObjectNet-Publikation berichteten Ergebnissen können wir feststellen, dass etwa 10–15 % des Leistungsverlusts ohne jegliche Daten-Augmentation zur Testzeit wiederhergestellt werden können. Entgegen der Annahme, dass tiefe Modelle auf diesem Datenset grundsätzlich versagen, bestätigen wir jedoch ebenfalls die Schlussfolgerung von Barbu et al., dass tiefe Modelle auf ObjectNet erheblich leiden. Daher sind wir überzeugt, dass ObjectNet weiterhin eine herausfordernde Prüfung der Generalisierungsfähigkeit von Modellen darstellt – insbesondere jenseits der Datensätze, auf denen sie trainiert wurden.