Pose2Seg: Erkennungsfreie Instanzsegmentierung von Menschen

Der Standardansatz für die Instanzsegmentierung von Bildern besteht darin, zunächst die Objekterkennung durchzuführen und danach das Objekt aus der Erkennungs-Bounding-Box zu segmentieren. In jüngerer Zeit führen tiefen Lernmethoden wie Mask R-CNN diese Schritte gemeinsam aus. Allerdings berücksichtigt wenig Forschung die Besonderheit der Kategorie "Mensch", die durch das Poseskelett gut definiert werden kann. Darüber hinaus kann das Poseskelett zur besseren Unterscheidung von Instanzen bei starken Verdeckungen eingesetzt werden, im Vergleich zum Einsatz von Bounding-Boxen. In dieser Arbeit stellen wir einen ganz neuen, auf Pose basierenden Rahmen zur Instanzsegmentierung von Menschen vor, der Instanzen auf Grundlage des menschlichen Poses und nicht auf Basis des Vorschlagsbereichs-Erkennung trennt. Wir zeigen, dass unser posebasiertes Framework eine höhere Genauigkeit als der Stand der Technik bei erkenntisbasierter Ansätze beim Problem der menschlichen Instanzsegmentierung erreichen kann und zudem Verdeckungen besser behandeln kann. Zudem gibt es wenige öffentliche Datensätze, die viele stark verdeckte Menschen mit umfassenden Annotationen enthalten, was dieses Problem zu einer Herausforderung macht, die selten von Forschern wahrgenommen wird. Daher stellen wir in dieser Arbeit einen neuen Benchmark-Datensatz "Verdeckte Menschen (OCHuman)" vor, der sich auf verdeckte Menschen mit umfassenden Annotationen konzentriert, einschließlich Bounding-Boxen, menschlichem Pose und Instanzmasken. Dieser Datensatz enthält 8110 detailliert annotierte menschliche Instanzen innerhalb von 4731 Bildern. Mit einem durchschnittlichen MaxIoU von 0{,}67 pro Person ist OCHuman der komplexeste und herausforderndste Datensatz im Zusammenhang mit der menschlichen Instanzsegmentierung. Durch diesen Datensatz möchten wir die Verdeckung als eine herausfordernde Aufgabe für Forscher hervorheben.