Das Gleiche Grenzfeld Zweimal Zeichnen? Umgang mit verrauschten Annotationen in der Objekterkennung durch wiederholte Beschriftungen
Die Zuverlässigkeit überwachter maschineller Lernsysteme hängt von der Genauigkeit und Verfügbarkeit von Ground-Truth-Markierungen ab. Der Prozess der menschlichen Annotation ist jedoch fehleranfällig und birgt das Risiko von verrauschten Markierungen, die die praktische Anwendbarkeit solcher Systeme beeinträchtigen können. Während die Bearbeitung von verrauschten Markierungen eine zentrale Herausforderung darstellt, ist auch die Zuverlässigkeit der Testdaten entscheidend, um die Glaubwürdigkeit der Ergebnisse zu gewährleisten. Ein verbreiteter Ansatz zur Bewältigung dieses Problems ist die wiederholte Markierung, bei der mehrere Annotatoren dieselbe Instanz markieren und ihre Markierungen zusammengefasst werden, um eine präzisere Schätzung der wahren Markierung zu erhalten. In diesem Artikel stellen wir einen neuartigen Lokalisierungsalgorithmus vor, der etablierte Methoden zur Schätzung von Ground Truth für Aufgaben der Objektdetektion und Instanzsegmentierung adaptiert. Der zentrale Innovationsaspekt unseres Ansatzes liegt in der Fähigkeit, kombinierte Lokalisierungs- und Klassifikationsaufgaben in reine Klassifikationsprobleme zu transformieren. Dadurch wird die Anwendung von Techniken wie Expectation-Maximization (EM) oder Majority Voting (MJV) möglich. Obwohl unser primäres Ziel in der Aggregation eindeutiger Ground-Truth-Markierungen für Testdaten liegt, zeigt unser Algorithmus auch eine überlegene Leistung während des Trainings auf dem TexBiG-Datensatz, die sowohl die Behandlung verrauschter Markierungen als auch die Markierungsaggregation mittels Weighted Boxes Fusion (WBF) übertrifft. Unsere Experimente zeigen, dass die Vorteile wiederholter Markierungen unter bestimmten Datensatz- und Annotierungsbedingungen auftreten. Die entscheidenden Faktoren scheinen (1) die Komplexität des Datensatzes, (2) die Konsistenz der Annotatoren sowie (3) die vorgegebenen Budgetbeschränkungen für die Annotierung zu sein.