Grâce Aux Réseaux Neuronaux, Tom Peut Suivre Jerry En Temps Réel
champEn utilisant une grande quantité de données vidéo animales pour entraîner le réseau neuronal, une meilleure segmentation des animaux et de l'arrière-plan peut être obtenue dans l'observation du comportement animal dans des environnements complexes et dynamiques, permettant ainsi un meilleur suivi des animaux.
Pourquoi les oiseaux picorent-ils parfois leurs œufs ? Que veut dire un écureuil lorsqu'il remue la queue ? Lorsqu'un chat cambre le dos, cela signifie-t-il qu'il a peur ou qu'il est en colère ? Y a-t-il des secrets de ce groupe cachés derrière les différents comportements des animaux ?
Dans les temps les plus anciens, certaines tribus et régions considéraient les animaux comme des dieux, et les gens espéraient obtenir des présages et des bénédictions divines de la part des animaux.
Ce n’est qu’au XXe siècle que les recherches scientifiques sur le comportement animal ont commencé, et Darwin a été l’un des premiers scientifiques à le faire.
Mais les premières recherches comportementales ne pouvaient s’appuyer que sur l’observation visuelle et des enregistreurs simples.
Plus tard, avec l’application de technologies avancées telles que l’observation vidéo et la radiotélémétrie, le comportement animal a pu être surveillé et quantifié sur le terrain et dans des laboratoires simulant des conditions naturelles. De grandes quantités de données pourraient être traitées par des ordinateurs électroniques, soumettant ainsi la science du comportement à des critères quantitatifs.
Ces dernières années, la technologie de l'IA a également été réutilisée pour capturer et suivre le « langage comportemental » des animaux.
Récemment, des chercheurs du Jackson Laboratory aux États-Unis ont utilisé une architecture moderne de réseau neuronal convolutif pour développer une méthode de suivi de souris évolutive en champ libre, permettant de suivre avec succès les mouvements et les comportements des animaux dans des environnements complexes et dynamiques avec une précision atteignant les niveaux humains.
Il est rapporté que le réseau neuronal qu'ils ont formé peut utiliser une méthode d'apprentissage d'exemple simple pour suivre des souris dans différents environnements, avec différentes couleurs de fourrure, formes de corps et comportements pendant une longue période, et le processus ne nécessite pas de supervision humaine continue.
L'Homme et la Nature : se comprendre grâce à l'éthologie
L’univers est vaste et l’existence de la Terre est solitaire et précieuse. Sur cette planète, à l’exception des humains qui possèdent un système linguistique complet, les autres animaux n’ont pas de capacité linguistique. Cela crée une différence et un fossé essentiels entre les humains et les autres groupes ethniques.
Ils croient qu'ils apporteront des bénédictions à eux-mêmes
Cependant, dans un sens, le comportement animal est leur « langage ». Tous leurs comportements ont une certaine base physiologique. En observant ces comportements, les humains peuvent comprendre les conditions physiologiques des animaux, leurs expressions émotionnelles, leurs comportements d’apprentissage, etc., ce qui aura un certain impact sur des disciplines telles que la psychologie et l’éducation.
De plus, pour le secteur de l’élevage, l’observation des réponses comportementales des animaux dans diverses conditions environnementales et la compréhension de leurs schémas d’activité peuvent contribuer à améliorer la gestion des animaux et la capacité de production.
Pour les laboratoires qui étudient le comportement des mouches et des souris dans le but d’éliminer les animaux cibles, les bénéfices pour la société seraient encore plus grands si ces études pouvaient conduire à l’élimination complète des parasites qui propagent les épidémies et les bactéries.
L'observation de vidéos d'animaux est l'un des principaux moyens de recherche dans divers laboratoires animaliers, mais cela prendrait trop de temps et demanderait trop de travail si un grand nombre de vidéos devaient être étiquetées manuellement.
Pour la grande quantité de données vidéo générées par le suivi du comportement des animaux, la technologie de l'IA peut remplacer le travail manuel de suivi et de marquage, et peut même suivre avec plus de précision que les humains.
« DeepLabCut » peut suivre avec précision et rapidité le comportement des petits animaux
L’équipe du laboratoire Jackson aux États-Unis a analysé de grandes quantités de données vidéo animales et a formé des réseaux neuronaux pour analyser, suivre et même prédire automatiquement les vidéos d’animaux.
Tuer les nuisibles : un traqueur de souris basé sur un réseau neuronal
Le laboratoire Jackson utilise un tracker basé sur un réseau neuronal pourLe suivi automatique des souris est réalisé sans marquer manuellement chaque image de la vidéo ni placer de marqueurs sur les sujets de recherche.
Ils ont comparé les effets visuels de trois structures de réseaux neuronaux différentes sur différentes souris et dans différentes conditions environnementales. La première architecture est un réseau de segmentation encodeur-décodeur, la deuxième architecture de réseau est un réseau de classification compartimenté et la troisième architecture est un réseau de régression.
Les résultats expérimentaux montrent que le réseau neuronal de segmentation encodeur-décodeur présente une précision et une vitesse de segmentation élevées avec des données d'entraînement minimales. De plus, ils fournissent des interfaces d'étiquetage, des données de formation étiquetées, des hyperparamètres réglés et des réseaux pré-entraînés pour les communautés comportementales et neuroscientifiques.
Dans la recherche, afin de capturer les mouvements riches effectués par les souris dans les vidéos, les souris sont généralement abstraites en un simple point, un centre de masse ou une ellipse pour analyse. Afin de mieux utiliser les méthodes existantes pour suivre les souris et effectuer une segmentation appropriée, l’équipe a simplifié l’environnement expérimental et obtenu le meilleur contraste entre les souris et l’arrière-plan.
Le réseau neuronal classe les pixels de la vidéo qui appartiennent à la souris à partir de l'arrière-plan, permettant à ces comportements abstraits de haut niveau d'être convertis en données pour des calculs mathématiques.
Afin de mieux distinguer les animaux, les chercheurs modifient généralement la couleur de fond du lieu en fonction de la couleur de la fourrure de l'animal, mais cela est susceptible d'affecter son comportement.
Les trackers qui utilisent des réseaux neuronaux n’ont pas besoin de faire cela. Il est capable de suivre quelle que soit la couleur du revêtement dans des conditions environnementales complexes et dynamiques.
De cette façon, nous ne pouvons pas nous empêcher de nous inquiéter pour la petite souris Jerry. Si Tom maîtrise cette technologie, pourra-t-il encore sauter joyeusement ?
Suivi précis : nécessite une formation approfondie
Pour tester l’architecture du réseau neuronal, ils ont établi Un ensemble de données d'entraînement de 16 234 images d'entraînement et de 568 images de validation de maintien. Ils ont également créé une interface d'étiquetage basée sur OpenCV pour créer des données de formation (méthodes) qui permettent une annotation rapide du premier plan et de l'arrière-plan.
Leur réseau a été construit, formé et testé dans Tensorflow v1.0. Les tests de formation fournis ont été réalisés sur l'architecture GPU Nvidia P100. Les hyperparamètres ont été réglés sur plusieurs itérations d’entraînement.
Le résultat final est que parmi les trois architectures différentes mentionnées ci-dessus, l'architecture de réseau segmentée encodeur-décodeur est capable d'atteindre le plus haut niveau de précision et de fonctionnalité à grande vitesse (plus de 6 fois en temps réel).
De plus, ils fournissent une interface d'annotation qui permet aux utilisateurs de former un nouveau réseau pour leur environnement spécifique en annotant aussi peu que 2 500 images en environ 3 heures.
Le suivi des réseaux neuronaux surpasse les méthodes traditionnelles
Par rapport aux méthodes de suivi traditionnelles, la méthode de suivi du réseau neuronal formée par l'équipe « gagne » dans les deux aspects suivants :
1. Aucune dépendance au contraste visuel premier plan-arrière-plan
Les méthodes de suivi traditionnelles manipulent les conditions environnementales pour augmenter le contraste entre l’animal et l’arrière-plan, permettant ainsi une détection correcte du premier plan/arrière-plan (segmentation). Cependant, cela ne résout pas le problème fondamental de la segmentation des animaux et repose sur le contraste visuel entre le premier plan et l’arrière-plan pour un suivi précis. Les chercheurs doivent donc restreindre l’environnement pour obtenir les meilleurs résultats.
Autrement dit, cette technologie de suivi vidéo ne peut pas être utilisée dans des environnements complexes et dynamiques, ni avec des animaux génétiquement hétérogènes, ce qui rend les expériences à long terme et à grande échelle irréalisables.
Pour surmonter les problèmes ci-dessus, l’équipe a utiliséconvolutionLes réseaux, les réseaux neuronaux, améliorent la qualité de la segmentation.De plus, des techniques de segmentation sémantique sont utilisées pour fournir des capacités de généralisation pour des environnements dynamiques que la soustraction d'arrière-plan traditionnelle ne peut pas traiter.
2. Suivi des souris dans des positions spéciales
À mesure que l’environnement devient moins adapté au suivi, la fréquence des cas de suivi incorrects dans une seule vidéo augmente. Par exemple, lorsque les souris se trouvaient dans les coins, près des murs ou sur des gobelets de nourriture, le suivi était très imprécis.
Dans la plupart des cas, un suivi incorrect est toujours causé par une mauvaise segmentation de la souris par rapport à l'arrière-plan. Cela comprend deux types d'erreurs : des parties de l'arrière-plan sont segmentées au premier plan (par exemple, les ombres) ; et les souris sont classées à tort comme arrière-plan lorsque des parties de la souris sont supprimées du premier plan (par exemple, une souris albinos qui correspond à la couleur d'arrière-plan).
Pour résoudre ce problème, ils ont utilisé une source de lumière infrarouge pour enregistrer les mouvements des souris dans différentes conditions de lumière et d'obscurité dans l'expérience, ont utilisé une grille de faisceau infrarouge pour détecter la position actuelle des souris et ont collecté 24 heures de vidéo, y compris le moment où les souris étaient sur la tasse de nourriture ou dans le coin. Enfin, ils ont optimisé et analysé les données vidéo.
L'équipe a comparé le réseau neuronal formé avec les annotations humaines et a constaté que le premier surpassait Ctrax, un programme de vision artificielle open source et disponible gratuitement.
Lorsque cette technologie sera utilisée plus largement, elle permettra non seulement aux chercheurs de gagner beaucoup de temps, mais pourra également apporter davantage de nouvelles découvertes, comme son utilisation pour suivre de petits animaux dans des environnements complexes et voir un monde animal plus vivant et plus magique.
À l’avenir, nous pourrons également utiliser l’apprentissage automatique pour trouver la source de l’épidémie, comprendre les besoins des animaux de compagnie à la maison, suivre les mouvements d’animaux rares et rendre le monde meilleur !