HyperAIHyperAI
vor 2 Monaten

SuperAnimal-vorgebildete Pose-Schätzmodelle für die Verhaltensanalyse

Ye, Shaokai ; Filippova, Anastasiia ; Lauer, Jessy ; Schneider, Steffen ; Vidal, Maxime ; Qiu, Tian ; Mathis, Alexander ; Mathis, Mackenzie Weygandt
SuperAnimal-vorgebildete Pose-Schätzmodelle für die Verhaltensanalyse
Abstract

Die Quantifizierung von Verhalten ist in Anwendungen wie Neurowissenschaften, Tiermedizin und Artenschutz von entscheidender Bedeutung. Ein gemeinsamer Schlüsselschritt bei der Verhaltensanalyse besteht darin, relevante Keypoints auf Tieren zu extrahieren, was als Pose-Schätzung bekannt ist. Zuverlässige Inferenz von Posen erfordert jedoch derzeit Fachwissen und manuelle Beschriftungsarbeit, um überwachte Modelle zu erstellen. Wir präsentieren eine Reihe technischer Innovationen, die es ermöglichen, eine neue Methode namens SuperAnimal zu entwickeln, die einheitliche Grundmodelle für mehr als 45 Arten ohne zusätzliche menschliche Beschriftungen erstellt. Konkret führen wir eine Methode zur Vereinheitlichung des Keypoint-Raums in unterschiedlich beschrifteten Datensätzen ein (durch unseren generalisierten Datenkonverter) sowie Ansätze zur Schulung dieser vielfältigen Datensätze auf eine Weise, dass sie bei unbalancierten Eingaben keine Keypoints katastrophal vergessen (durch unsere Keypoint-Gradient-Masking-Technik und Memory-Replay-Ansätze). Diese Modelle erzielen ausgezeichnete Ergebnisse in sechs Pose-Benchmarks. Um die maximale Nutzbarkeit für Endbenutzer sicherzustellen, demonstrieren wir, wie die Modelle an unterschiedlich beschriftete Daten angepasst werden können und stellen Werkzeuge zur Verfügung, die eine unsupervisierte Videoanpassung ermöglichen, um die Leistung zu verbessern und das Flackern zwischen den Bildern zu reduzien. Wenn die Modelle angepasst sind, zeigen wir, dass SuperAnimal-Modelle 10-100-mal dateneffizienter sind als frühere transferlearning-basierte Ansätze. Wir veranschaulichen die Nützlichkeit unserer Modelle anhand der Verhaltensklassifikation bei Mäusen und der Ganganalyse bei Pferden. Insgesamt bietet dies eine dateneffiziente Lösung für die Pose-Schätzung von Tieren.