Mit Neuronalen Netzwerken Kann Tom Jerry in Echtzeit Verfolgen

FeldDurch die Verwendung einer großen Menge an Tiervideodaten zum Trainieren des neuronalen Netzwerks kann bei der Beobachtung des Tierverhaltens in komplexen und dynamischen Umgebungen eine bessere Tier- und Hintergrundsegmentierung erreicht und so die Tiere besser verfolgt werden.

Warum picken Vögel manchmal ihre Eier? Was bedeutet es, wenn ein Eichhörnchen mit dem Schwanz wedelt? Wenn eine Katze ihren Rücken krümmt, bedeutet das, dass sie Angst hat oder wütend ist? Verbergen sich hinter den unterschiedlichen Verhaltensweisen der Tiere Geheimnisse dieser Gruppe?

In frühester Zeit betrachteten einige Stämme und Regionen Tiere als Götter und die Menschen hofften, von Tieren göttliche Omen und Segnungen zu erhalten.

Erst im 20. Jahrhundert begann man mit der wissenschaftlichen Erforschung des Tierverhaltens, und Darwin war einer der ersten Wissenschaftler, der dies tat.

Doch die frühe Verhaltensforschung konnte sich lediglich auf visuelle Beobachtung und einfache Aufzeichnungsgeräte stützen.

Später konnte durch den Einsatz moderner Technologien wie Videobeobachtung und Radiotelemetrie das Verhalten der Tiere im Feld und in Laboren, die natürliche Bedingungen simulieren, überwacht und quantifiziert werden. Große Datenmengen könnten von elektronischen Computern verarbeitet werden, wodurch die Verhaltenswissenschaft quantitativen Kriterien unterworfen würde.  

In den letzten Jahren wurde KI-Technologie auch zur Erfassung und Verfolgung der „Verhaltenssprache“ von Tieren wiederverwendet. 

Kürzlich verwendeten Forscher des Jackson Laboratory in den USA eine moderne Convolutional-Neuronal-Network-Architektur, um eine skalierbare Methode zur Mausverfolgung im freien Feld zu entwickeln. Damit konnten sie die Bewegungen und Verhaltensweisen von Tieren in komplexen und dynamischen Umgebungen erfolgreich mit einer Genauigkeit verfolgen, die an das menschliche Niveau heranreicht.

Es wird berichtet, dass das von ihnen trainierte neuronale Netzwerk mithilfe einer einfachen Beispiellernmethode Mäuse in unterschiedlichen Umgebungen mit unterschiedlichen Fellfarben, Körperformen und Verhaltensweisen über einen langen Zeitraum verfolgen kann und der Vorgang keine kontinuierliche menschliche Überwachung erfordert. 

Mensch und Natur: Einander durch Ethologie verstehen 

Das Universum ist riesig und die Existenz der Erde ist einsam und kostbar. Mit Ausnahme des Menschen, der über ein vollständiges Sprachsystem verfügt, verfügen die anderen Tiere auf diesem Planeten nicht über die Fähigkeit zur Sprache. Dadurch entsteht ein wesentlicher Unterschied und eine Kluft zwischen den Menschen und anderen ethnischen Gruppen.

Allerdings ist das Verhalten der Tiere in gewissem Sinne ihre „Sprache“. Alle ihre Verhaltensweisen haben bestimmte physiologische Grundlagen. Durch die Beobachtung dieser Verhaltensweisen können Menschen die physiologischen Zustände, Gefühlsausdrücke, Lernverhalten usw. der Tiere verstehen, was gewisse Auswirkungen auf Disziplinen wie Psychologie und Pädagogik haben wird. 

Darüber hinaus kann die Beobachtung der Verhaltensreaktionen von Tieren unter verschiedenen Umweltbedingungen und das Verständnis ihrer Aktivitätsmuster der Tierzuchtindustrie dabei helfen, das Tiermanagement und die Produktionskapazitäten zu verbessern. 

Für Labore, die das Verhalten von Fliegen und Mäusen mit dem Ziel untersuchen, die Zieltiere auszurotten, wäre der Nutzen für die Gesellschaft sogar noch größer, wenn diese Studien zur vollständigen Ausrottung von Schädlingen führen könnten, die Epidemien und Bakterien verbreiten.

Das Betrachten von Tiervideos ist in verschiedenen Tierlaboren eines der wichtigsten Forschungsmittel. Allerdings wäre es zu zeit- und arbeitsaufwendig, wenn eine große Anzahl von Videos manuell beschriftet werden müsste.

Bei der Verfolgung des Tierverhaltens entstehen große Mengen an Videodaten, die mithilfe der KI-Technologie manuelle Verfolgungs- und Markierungsarbeiten ersetzen können. Dabei ist die Verfolgung sogar präziser als beim Menschen.

Das Team des Jackson Laboratory in den USA analysierte große Mengen von Tiervideodaten und trainierte neuronale Netzwerke, um Tiervideos automatisch zu analysieren, zu verfolgen und sogar vorherzusagen. 

Schädlinge töten: Ein auf neuronalen Netzwerken basierender Maus-Tracker 

Jackson Laboratory verwendet einen auf neuronalen Netzwerken basierenden Tracker, umDie automatische Verfolgung von Mäusen wird erreicht, ohne dass jedes Videobild manuell markiert oder Markierungen auf den Forschungsobjekten angebracht werden müssen.

Sie verglichen die visuellen Effekte dreier verschiedener neuronaler Netzwerkstrukturen auf verschiedene Mäuse und unter verschiedenen Umgebungsbedingungen. Die erste Architektur ist ein Encoder-Decoder-Segmentierungsnetzwerk, die zweite Netzwerkarchitektur ist ein Binned-Klassifizierungsnetzwerk und die dritte Architektur ist ein Regressionsnetzwerk. 

Experimentelle Ergebnisse zeigen, dass das neuronale Encoder-Decoder-Segmentierungsnetzwerk mit minimalen Trainingsdaten eine hohe Segmentierungsgenauigkeit und -geschwindigkeit aufweist. Darüber hinaus bieten sie Beschriftungsschnittstellen, beschriftete Trainingsdaten, abgestimmte Hyperparameter und vortrainierte Netzwerke für die Verhaltens- und Neurowissenschaftsgemeinschaft. 

Um in der Forschung die vielfältigen Bewegungen von Mäusen in Videos festzuhalten, werden Mäuse zur Analyse normalerweise in einen einfachen Punkt, Schwerpunkt oder eine Ellipse abstrahiert. Um vorhandene Methoden zur Verfolgung von Mäusen und zur Durchführung einer entsprechenden Segmentierung besser nutzen zu können, vereinfachte das Team die Versuchsumgebung und erzielte den besten Kontrast zwischen Mäusen und Hintergrund. 

Das neuronale Netzwerk klassifiziert die Pixel im Video, die zur Maus gehören, vom Hintergrund und ermöglicht so die Umwandlung dieser abstrakten Verhaltensweisen auf hoher Ebene in Daten für mathematische Berechnungen.

Um die Tiere besser unterscheiden zu können, ändern Forscher die Hintergrundfarbe des Veranstaltungsortes üblicherweise entsprechend der Fellfarbe des Tieres, was jedoch wahrscheinlich sein Verhalten beeinflusst. 

Tracker, die neuronale Netzwerke verwenden, müssen dies nicht tun. Es ist in der Lage, unabhängig von der Beschichtungsfarbe unter komplexen und dynamischen Umgebungsbedingungen eine Verfolgung durchzuführen.

Daher müssen wir uns unweigerlich Sorgen um die kleine Maus Jerry machen. Wenn Tom diese Technologie beherrscht, kann er dann immer noch fröhlich herumspringen?

Genaues Tracking: erfordert umfangreiches Training

Um die Architektur des neuronalen Netzwerks zu testen, etablierten sie Ein Trainingsdatensatz mit 16.234 Trainingsbildern und 568 Holdout-Validierungsbildern. Sie haben außerdem eine OpenCV-basierte Beschriftungsschnittstelle zum Erstellen von Trainingsdaten (Methoden) erstellt, die eine schnelle Annotation von Vordergrund und Hintergrund ermöglicht. 

Ihr Netzwerk wurde in Tensorflow v1.0 erstellt, trainiert und getestet. Die bereitgestellten Trainings-Benchmarks wurden auf der Nvidia P100 GPU-Architektur durchgeführt. Die Hyperparameter wurden über mehrere Trainingsiterationen hinweg optimiert. 

Das Endergebnis ist, dass von den drei oben genannten Architekturen die segmentierte Encoder-Decoder-Netzwerkarchitektur das höchste Maß an Genauigkeit und Funktionalität bei hoher Geschwindigkeit (über 6-mal Echtzeit) erreichen kann.

Darüber hinaus bieten sie eine Annotationsschnittstelle, die es Benutzern ermöglicht, ein neues Netzwerk für ihre spezifische Umgebung zu trainieren, indem sie in etwa 3 Stunden nur 2.500 Bilder annotieren. 

Neuronales Netzwerk-Tracking übertrifft herkömmliche Methoden 

Im Vergleich zu herkömmlichen Tracking-Methoden „gewinnt“ die vom Team trainierte Tracking-Methode mit neuronalen Netzwerken in den folgenden zwei Aspekten:

1. Keine Abhängigkeit vom visuellen Kontrast zwischen Vordergrund und Hintergrund

Herkömmliche Trackingmethoden manipulieren die Umgebungsbedingungen, um den Kontrast zwischen Tier und Hintergrund zu erhöhen und so eine korrekte Vorder-/Hintergrunderkennung (Segmentierung) zu erreichen. Dies geht jedoch nicht auf das grundlegende Problem der Tiersegmentierung ein und ist für eine genaue Verfolgung auf den visuellen Kontrast zwischen Vordergrund und Hintergrund angewiesen. Daher müssen Forscher die Umgebung einschränken, um die besten Ergebnisse zu erzielen. 

Das heißt, diese Video-Tracking-Technologie kann nicht in komplexen und dynamischen Umgebungen oder bei genetisch heterogenen Tieren eingesetzt werden, was langfristige und groß angelegte Experimente undurchführbar macht.     

Um die oben genannten Probleme zu überwinden, nutzte das TeamFaltungNetzwerke, neuronale Netzwerke, verbessern die Segmentierungsqualität.Darüber hinaus werden semantische Segmentierungstechniken eingesetzt, um Generalisierungsfunktionen für dynamische Umgebungen bereitzustellen, die mit der herkömmlichen Hintergrundsubtraktion nicht abgedeckt werden können.

2. Mäuse in speziellen Positionen verfolgen

Wenn die Umgebung für das Tracking weniger geeignet ist, steigt die Häufigkeit fehlerhafter Tracking-Instanzen in einem einzelnen Video. Wenn sich die Mäuse beispielsweise um Ecken, in der Nähe von Wänden oder auf Futternäpfen befanden, war die Verfolgung sehr ungenau. 

In den meisten Fällen ist eine fehlerhafte Verfolgung immer noch auf eine schlechte Segmentierung der Maus vom Hintergrund zurückzuführen. Dazu gehören zwei Arten von Fehlern: Teile des Hintergrunds werden in den Vordergrund segmentiert (z. B. Schatten); und Mäuse werden fälschlicherweise als Hintergrund klassifiziert, wenn Teile der Maus aus dem Vordergrund entfernt werden (z. B. eine Albino-Maus, die der Hintergrundfarbe entspricht). 

Um dieses Problem zu lösen, verwendeten sie im Experiment eine Infrarotlichtquelle, um die Bewegungen der Mäuse unter verschiedenen Licht- und Dunkelheitsbedingungen aufzuzeichnen, nutzten ein Infrarotstrahlgitter, um die aktuelle Position der Mäuse zu ermitteln, und sammelten 24 Stunden Videomaterial, einschließlich der Zeit, in der sich die Mäuse am Futternapf oder in der Ecke befanden. Abschließend optimierten und analysierten sie die Videodaten.

Das Team verglich das trainierte neuronale Netzwerk mit menschlichen Anmerkungen und stellte fest, dass ersteres besser abschnitt als Ctrax, ein frei verfügbares Open-Source-Programm für maschinelles Sehen.

Eine breitere Nutzung dieser Technologie wird den Forschern nicht nur eine große Zeitersparnis bringen, sondern möglicherweise auch zu neuen Entdeckungen führen. So können sie beispielsweise dazu eingesetzt werden, kleine Tiere in komplexen Umgebungen zu verfolgen und eine lebendigere und magischere Tierwelt zu erleben.

In Zukunft können wir maschinelles Lernen auch nutzen, um die Quelle der Epidemie zu finden, die Bedürfnisse von Haustieren zu verstehen, die Bewegungen seltener Tiere zu verfolgen und die Welt zu einem besseren Ort zu machen!

Klicken Sie hier, um den Originalartikel zu lesen