Vortraining verbessert die Robustheit außerhalb des Domains für die Pose-Schätzung

Neuronale Netze sind hoch effektive Werkzeuge für die Pose-Schätzung. Allerdings stellt die Robustheit gegenüber außerhalb des Domains liegenden Daten, insbesondere bei kleinen Trainingsdatensätzen, die in realen Anwendungen häufig vorkommen, weiterhin eine Herausforderung dar. In dieser Studie untersuchen wir die Generalisierungsfähigkeit von drei Architekturklassen (MobileNetV2s, ResNets und EfficientNets) für die Pose-Schätzung. Wir haben einen Datensatz von 30 Pferden entwickelt, der sowohl "innerhalb des Domains" als auch "außerhalb des Domains" (unbekannte Pferde) Benchmarking ermöglicht – dies ist ein entscheidender Test für Robustheit, den aktuelle Benchmarks für menschliche Pose-Schätzung nicht direkt abdecken. Unsere Ergebnisse zeigen, dass Architekturen, die auf ImageNet besser abschneiden, sowohl bei innerhalb- als auch außerhalb-des-Domains liegenden Daten bessere Leistungen erzielen, wenn sie zunächst auf ImageNet vortrainiert wurden. Zudem konnten wir nachweisen, dass bessere ImageNet-Modelle auch über verschiedene Tierarten hinweg besser generalisieren. Des Weiteren stellen wir Horse-C vor, einen neuen Benchmark für gängige Korruptionen in der Pose-Schätzung, und bestätigen, dass das Vortraining auch in diesem Kontext der Domain-Shifts die Leistung steigert. Insgesamt demonstrieren unsere Ergebnisse, dass Transfer-Lernen förderlich für die Robustheit außerhalb des Domains ist.