Das Shenzhen Institute of Advanced Technology Der Chinesischen Akademie Der Wissenschaften Hat SBeA Vorgeschlagen, Das Das Soziale Verhalten Von Tieren Auf Der Grundlage Eines Few-Shot-Learning-Frameworks Analysiert.
Vögel breiten ihre Flügel aus, Wölfe scharen sich um ihren Anführer, Pinguine ziehen gemeinsam ihren Nachwuchs auf ... Welche Bedeutung hat das Sozialverhalten von Tieren? Lässt sich der Prozess der menschlichen Evolution Schritt für Schritt anhand der Fortpflanzung, der Jagd, der Verteidigung und der Etablierung einer sozialen Hierarchie erkennen?
Die Untersuchung dieser Fragen, die als soziales Verhalten von Tieren bezeichnet werden, kann dazu beitragen, Licht auf die Rolle der Gehirnfunktion und psychischer Störungen bei Interaktionen zu werfen, indem Verhaltensweisen präzise quantifiziert, identifiziert und klassifiziert werden. Gleichzeitig spielen Forschungsmodelle zum Sozialverhalten von Tieren auch eine wichtige Rolle bei der Untersuchung sozialer Störungen beim Menschen, die sehr häufige Symptome von Krankheiten wie Autismus, Depression und sozialer Angststörung sind.
In der Vergangenheit waren die Untersuchung und das Verständnis des Sozialverhaltens von Tieren durch unzureichend kommentierte Daten eingeschränkt. Obwohl Deep-Learning-Techniken wie Multi-Animal DeepLabCut, SLEAP und AlphaTracker leistungsstarke Tools zur Datenannotation bieten, ist ihre Anwendung in experimentellen Szenarien durch die Verfügbarkeit hochwertiger Benchmark-Datensätze begrenzt. Vorhandene Datensätze zur Posenschätzung mehrerer Tiere decken häufig nicht die große Bandbreite an Modellen zur Prüfung des Sozialverhaltens ab. Dies schränkt die Breite und Tiefe der Forschung ein, da Verhaltensweisen verschiedener Arten oder in unterschiedlichen Umgebungen möglicherweise nicht vollständig berücksichtigt werden.
In der Tierverhaltensforschung müssen die Forschungseffizienz und -genauigkeit durch technologische Innovationen dringend verbessert werden. Auf dieser GrundlageSBeA (Social Behavior Atlas) entstand und wurde von den Shenzhen Institutes of Advanced Technology der Chinesischen Akademie der Wissenschaften entwickelt. Es kann das Verhalten freilebender Tiere umfassend quantifizieren, mithilfe einer kleinen Anzahl beschrifteter Frames (etwa 400 Frames) die dreidimensionale Haltung mehrerer Tiere schätzen und durch eine Strategie des bidirektionalen Transferlernens die Genauigkeit der Identitätserkennung mehrerer Tiere über 90% erreichen.Die entsprechenden Ergebnisse wurden in Nature veröffentlicht.
Link zum Artikel:
Die beiden Hauptstrukturen von SBeA: Haltungsverfolgung und Verhaltenskartierung
Um das Verhalten freilebender Tiere umfassend zu quantifizieren, Zu den Hauptaufgaben von SBeA gehören 3D-Pose-Tracking und Social Behaviour Mapping.
3D-Pose-Tracking: Sozialverhalten und Identitätserkennung mehrerer Tiere
Der 3D-Haltungsverfolgungsprozess ist in der obigen Abbildung dargestellt:
Zunächst wurde mithilfe einer Kameraanordnung ein Video des freien Sozialverhaltens der beiden Mäuse aufgenommen. Dieser Prozess war in zwei Phasen unterteilt. In der ersten Phase lag der Schwerpunkt auf der Erfassung freier sozialer Interaktionen zwischen Mäusen, während in der zweiten Phase das Ziel bestand, die Identität jeder einzelnen Maus während dieser Interaktionen zu ermitteln und aufzuzeichnen. Dabei wurden Schachbrettbilder zur Kalibrierung während der Videoaufnahme verwendet.
Anschließend wurden die erfassten Konturen mehrerer Tiere und die Haltung einzelner Tiere detailliert kommentiert und zur Analyse in das mehrstufige künstliche neuronale Netzwerk eingegeben. Die Ausgabeergebnisse sind in Abbildung d dargestellt und in drei Teile unterteilt:
* KI-Ausgabevideoinstanzen, Haltungen mehrerer Tiere und Identitätsinformationen mehrerer Tiere;
* 3D-Rekonstruktion von Video-, Pose- und Identitätsinformationen kombiniert mit Kamerakalibrierungsparametern;
* Visuelle Anzeige der 3D-Pose mit Identitätsinformationen.
Behavior Mapping: Niedrigdimensionale Darstellung von Zeit und Raum
Der Prozess der Abbildung des Sozialverhaltens ist in der obigen Abbildung dargestellt:
Parallele dynamische Zerlegung: Rohe 3D-Trajektorien zweier Mäuse, zerlegt in Fortbewegung (körperliche Bewegung wie Gehen, Laufen, Springen, Klettern), nicht-lokomotorische Bewegung (Bewegung, die keine Änderungen der Position des gesamten Körpers im Raum beinhaltet, wie etwa Schwanzwedeln, Ohrenschütteln oder Änderungen der Körperhaltung) und Körperdistanz (körperliche Distanz zwischen zwei oder mehr Tieren).
Um ein tieferes Verständnis der Merkmalsverteilung innerhalb des Moduls Sozialverhalten zu erlangen, werden die drei extrahierten Trajektorienmerkmale in räumliche und zeitliche Darstellungen umgewandelt. Die räumliche Ebene wird durch niedrigdimensionale Einbettungsdistanzmerkmale in SBeA erfasst (wie auf der linken Seite von Abbildung f gezeigt), und die zeitliche Ebene wird durch das Diagramm des sozialen Verhaltens dargestellt (wie auf der rechten Seite von Abbildung f gezeigt).
Training SBeA: Bidirektionales Transferlernen und Unüberwachtes Lernen
Bidirektionales Transferlernen: Identifizierung mehrerer Tiere ohne Markierung
Beim freien Sozialverhalten von Tieren verdecken sich Tiere derselben Art häufig gegenseitig, was zu ungenauen manuellen Identifikationsanmerkungen führt. Um diese Herausforderung zu bewältigen, schlugen die Forscher vor, bidirektionales Transferlernen in SBeA zu verwenden (Abbildung a unten). Das bedeutet, dass das trainierte Segmentierungsmodell für mehrere Tiere auf Videos einzelner Tiere übertragen werden kann und das trainierte Identifikationsmodell für einzelne Tiere auch auf die Identifikation mehrerer Tiere übertragen werden kann, was den Arbeitsaufwand für die manuelle Kennzeichnung der Tieridentitäten erheblich reduziert.
Zu den Trainingsmethoden mit bidirektionalem Transferlernen gehören:
* Wiederverwendung des Segmentierungsmodells (Abbildung b): Verwenden Sie ein Kamera-Array, um Videostreams von Tieren aufzunehmen, verwenden Sie das trainierte VisTR-Modell (VIS mit Transformatoren), um einzelne Tiervideoinstanzen zu segmentieren und Daten aus mehreren Winkeln zu erhalten.
* Training eines Einzeltieridentifikationsmodells (Abbildung c): Schneiden Sie die Daten zu, verketten Sie sie, ändern Sie ihre Größe und verwenden Sie EfficientNet als Grundlage zum Trainieren eines Modells zur Identitätserkennung mehrerer Tiere.
* Mehrtiersegmentierung und 3D-Reprojektion (Abbildung d): Projizieren Sie die Masken jeder Kameraansicht neu, beschneiden Sie diese Daten, verknüpfen Sie sie, ändern Sie ihre Größe und geben Sie sie in das Modell zur Identitätserkennung mehrerer Tiere ein.
* Wiederverwendung des Identitätserkennungsmodells (Abbildung e): Verwenden Sie das trainierte Einzeltieridentifizierungsmodell erneut bei der Identifizierung mehrerer Tiere.
Dieser Prozess umfasst eine komplexe Bildverarbeitung und Datenkonvertierung, um aus verschiedenen Perspektiven und Situationen effektive Informationen zu extrahieren und letztendlich die visuellen Ergebnisse der Identität und 3D-Haltung des Tieres vorherzusagen.
Um die Identifikationsleistung von SBeA zu bewerten, zeichneten die Forscher das freie Sozialverhalten der oben genannten Mäuse auf und überprüften die maskierten, neu projizierten Bilder und 3D-Haltungen manuell Bild für Bild. Die Ergebnisse zeigten, dass die Erkennungsgenauigkeit einiger einzelner Mäuse zwar gering war, die Gesamtgenauigkeit bei der Identifizierung von Mäusepaaren jedoch über 0,85 lag.
Unüberwachtes Lernen: Die Struktur des Sozialverhaltens aufdecken
Bei Anwendungen des unüberwachten Lernens basieren die Algorithmen nicht auf vorab gekennzeichneten oder kategorisierten Daten. Stattdessen versuchen sie, Muster und Beziehungen direkt aus den Daten zu erkennen.
In dieser Studie zerlegt unüberwachtes Lernen die dynamische Struktur des Verhaltens mithilfe des Dynamic Time Alignment Kernel (DTAK) und verwendet logische Addition, um die zerlegten Zeitpunkte zusammenzuführen und so kontinuierliche Haltungstrajektorien in diskrete Module für soziales Verhalten umzuwandeln, wie in der folgenden Abbildung dargestellt.
Der PAIR-R24M-Datensatz wurde zur Durchführung einer überwachten Validierung von SBeA verwendet. Die Ergebnisse zeigten, dassIn dieser Studie wurde die Clusterleistung des Moduls für soziales Verhalten erfolgreich quantifiziert, und SBeA kann soziale Verhaltensweisen effektiv klassifizieren.
SBeA: Genauigkeit + Vielseitigkeit
Genauigkeit von SBeA: Verhaltensstudien an Shank3B-Knockout-Mäusen
Um zu untersuchen, ob SbeA Unterschiede im Sozialverhalten auf genetischer Ebene erkennen kann, führten die Forscher Experimente mit Mäusen durch. Mäuse, bei denen das Shank3B-Gen ausgeschaltet ist, zeigen individuelle autistische Verhaltensweisen, aber die Einschränkungen der vorhandenen Technologie machen es uns schwer, ihr abnormales, freies Sozialverhalten vollständig zu verstehen. Durch SBeA-Analyse stellte das Forschungsteam fest, dass es signifikante Unterschiede im Sozialverhalten zwischen Shank3B-Knockout-Mäusen (KO) und normalen Mäusen (Wildtyp, WT) gab.
Es gab drei Gruppen von Versuchsmäusen: KO-KO, WT-WT und WT-KO. Die Ergebnisse sind in der folgenden Abbildung dargestellt. Die WT-WT-Gruppe zeigte ein flexibleres Sozialverhalten, die KO-KO-Gruppe zeigte mehr abnormales Sozialverhalten als die WT-WT-Gruppe und die WT-KO-Gruppe zeigte engere soziale Interaktionen als die WT-WT-Gruppe.
Gleichzeitig wurde SBeA verwendet, um subtile soziale Verhaltensmodule zwischen KO- und WT-Mäusen zu identifizieren und zu unterscheiden. Durch Clusteranalyse wurden diese Module zu neun wichtigen sozialen Verhaltensweisen zusammengefasst, darunter Zusammenrollen, Erkundungsverhalten, Beschnüffeln von Gleichaltrigen und selbstständige Fellpflege.
Das Sozialverhalten der drei Gruppen ist wie folgt:
Die WT-WT-Gruppe (grün) zeigte mehr Alloregulations- und Erkundungsverhalten, was auf Prosozialität hindeutet.
Die KO-KO-Gruppe (orange) zeigte mehr abnormales Sozialverhalten, geringere motorische Fähigkeiten und soziale Neuartigkeit, und dieses abnormale Verhalten kann auf antisoziales Verhalten hinweisen.
Die in der WT-KO-Gruppe (lila) beobachteten sozialen Verhaltensweisen bestanden hauptsächlich aus dem Beschnüffeln von Artgenossen und der selbstständigen Fellpflege. Bei den neugierigen WT-Mäusen kam es häufiger zu einem Beschnüffeln durch andere Tiere und die unabhängige Fellpflege könnte ein nachahmendes Verhalten der KO-Mäuse gegenüber WT-Mäusen sein.
Dieses Ergebnis zeigt, dass SBeA nicht nur das Sozialverhalten genetisch mutierter Tiere unterscheiden, sondern auch subtile Sozialverhaltensmodule identifizieren kann, die mit genetischen Mutationen verbunden sind.
Universalität von SBeA: Analyse in verschiedenen Arten und Umgebungen
Um die Generalisierbarkeit von SBeA auf verschiedene Tierarten und Versuchsumgebungen zu beurteilen, führte das Forschungsteam Studien mit Vögeln und Hunden durch.
Um den SBeA-Test schwieriger zu gestalten, wurden die Tiere im Experiment so ähnlich wie möglich gestaltet. Durch die Abbildung von Vogel- und Hundedaten auf der Karte des Sozialverhaltens wurden im Rahmen der Studie 34 bzw. 15 Sozialverhaltenskategorien ermittelt, die Vögeln bzw. Hunden entsprechen (Abbildungen c und g), und ihre typischen Fälle in 3D visualisiert (Abbildungen d und h).
Die Ergebnisse zeigen, dass SBeAs 3D-Haltungsverfolgung von Vögeln die Bewegung ihrer Krallen beim Berühren ihrer Schwanzfedern erkennen kann und dass die 3D-Haltungsverfolgung von Hunden mit Okklusionssituationen wie dem Hinlegen zurechtkommt.
Vorteile von SBeA: ein Framework für das Lernen mit wenigen Schritten
Im Jahr 2021 verbrachte das Team von Wei Pengfei am Shenzhen Institute of Advanced Technology zwei Jahre damit, mithilfe unabhängig entwickelter Geräte zur Verhaltenserfassung die dreidimensionalen Bewegungshaltungen von Tieren zu erfassen. Basierend auf der sprachähnlichen hierarchischen Struktur des Tierverhaltens schlugen sie ein hierarchisches Dekompositionsmodell für Tierverhalten vor, das kontinuierliche und komplexe Verhaltensweisen in für Menschen verständliche Aktionsmodule vereinfacht. Im Rahmen dieser Studie wurde eine Verhaltensidentifizierung an Autismus-Modellmäusen durchgeführt und es gelang, ihre charakteristischen Verhaltensanomalien automatisch und präzise im Sekundenbereich zu identifizieren.
Die SBeA-Architektur in diesem Artikel ist eine weitere Erweiterung des „Behavior Atlas“, eines 2021 vorgeschlagenen allgemeinen Rahmens für dreidimensionale Verhaltenskarten von Tieren zur Klassifizierung des sozialen Verhaltens von Tieren.
Das von SBeA verwendete Few-Shot-Learning-Framework erfordert nur relativ wenige manuell annotierte Frames für die 3D-Pose-Schätzung mehrerer Tiere, ermöglicht eine etikettenfreie Identitätserkennung und die Anwendung unüberwachten Lernens für die Klassifizierung sozialen Verhaltens. Solche Strategien zur Datengenerierung reduzieren die Abhängigkeit von umfangreichen, umfassend gekennzeichneten Datensätzen und können auf größere Mengen ungekennzeichneter Daten angewendet werden.
Frameworks für das Lernen mit wenigen Versuchen, wie etwa Transferlernen (Nutzung eines auf einem großen Datensatz vortrainierten Modells und anschließende Feinabstimmung, um es für eine bestimmte Aufgabe an einen kleineren Datensatz anzupassen) und Datenaugmentation (Generierung neuer Datenpunkte aus vorhandenen Daten mithilfe von Techniken wie Zuschneiden, Drehen oder Farbanpassung, um die Größe des Trainingsdatensatzes zu erhöhen), haben großes Potenzial und erfreuen sich in der KI-Forschung zunehmender Beliebtheit.
Quellen:
1.https://www.nature.com/articles/s42256-023-00776-5
2.https://www.siat.ac.cn/kyjz2016/202401/t20240109_6952837.html