Domain-adaptive 2D-Pose-Schätzung von Menschen durch duale Lehrer unter extrem schwierigen Beleuchtungsbedingungen

Bestehende Forschungen zur 2D-Pose-Schätzung von Menschen konzentrieren sich hauptsächlich auf gut beleuchtete Szenarien, wobei die Untersuchung von schlechten Beleuchtungsbedingungen, die ein häufig vorkommendes Element des täglichen Lebens sind, nur begrenzt erfolgt. Neuere Studien zur Pose-Schätzung bei geringer Beleuchtung erfordern das Training mit gepaarten gut und schlecht beleuchteten Bildern, die Ground-Truth-Daten enthalten. Dies ist jedoch aufgrund der mit der Annotation von Bildern bei geringer Beleuchtung verbundenen Herausforderungen nicht praktikabel. Daher stellen wir einen neuen Ansatz vor, der das Bedürfnis nach Ground-Truth-Daten bei geringer Beleuchtung beseitigt. Unser Hauptinnovationsmerkmal besteht darin, zwei ergänzende Lehrernetze zu nutzen, um verlässlichere Pseudo-Labels zu generieren. Dies ermöglicht es unserem Modell, wettbewerbsfähige Leistungen bei extrem schlechter Beleuchtung ohne das Training mit Ground-Truth-Daten bei geringer Beleuchtung zu erzielen.Unser Framework besteht aus zwei Phasen. Im ersten Stadium wird unser Modell anhand von gut beleuchteten Daten mit Augmentierungen für schlechte Beleuchtung trainiert. Im zweiten Stadium schlagen wir ein Dual-Lehrer-Framework vor, um unlabeled Daten bei geringer Beleuchtung zu nutzen. Dabei erzeugt ein zentrumsbasierter Haupt-Lehrer Pseudo-Labels für relativ sichtbare Fälle, während ein keypoints-basierter ergänzender Lehrer sich darauf konzentriert, Pseudo-Labels für Personen zu produzieren, die vom Haupt-Lehrer übersehen wurden. Mit den Pseudo-Labels beider Lehrer schlagen wir eine personenspezifische Augmentation für schlechte Beleuchtungsbedingungen vor, um das Schülermodell im Training herauszufordern und dazu anzuregen, die Lehrer zu übertreffen.Experimentelle Ergebnisse auf einem echten Low-Light-Datensatz (ExLPose-OCN) zeigen, dass unsere Methode trotz des Fehlens von Ground-Truth-Daten bei geringer Beleuchtung in unserem Ansatz eine Verbesserung von 6,8 % (2,4 AP) gegenüber dem aktuellen Stand der Technik (SOTA) erreicht. Im Gegensatz zur SOTA-Methode verwenden wir keine solchen Daten.Unser Code wird verfügbar sein unter: https://github.com/ayh015-dev/DA-LLPose.