HyperAI超神经

Contenu en un coup d'œil :La reconnaissance faciale peut verrouiller l’identité humaine, et cette technologie a été étendue aux baleines, ce qui a donné lieu à la « reconnaissance de la nageoire dorsale ». « L’identification des nageoires dorsales » utilise la technologie de reconnaissance d’images pour identifier les espèces de baleines grâce à leurs nageoires dorsales. La reconnaissance d’images traditionnelle repose sur des modèles de réseaux neuronaux convolutifs (CNN), qui nécessitent un grand nombre d’images d’entraînement et ne peuvent reconnaître que certaines espèces individuelles. Récemment, des chercheurs de l’Université d’Hawaï ont formé un modèle de reconnaissance d’images multi-espèces qui a donné de bons résultats dans les applications sur les baleines.

Mots-clés:Reconnaissance d'images Cétacés ArcFace

Auteur : daserney

Rédacteur en chef : Huanhuan, Sanyang

Cet article a été publié pour la première fois sur la plateforme publique HyperAI WeChat~

Les cétacés sont des animaux emblématiques et des organismes indicateurs de l’écosystème marin et présentent une valeur de recherche extrêmement élevée pour la protection de l’environnement écologique marin.L’identification traditionnelle des animaux nécessite de photographier les animaux sur place et d’enregistrer l’heure et le lieu des apparitions individuelles. Cela implique de nombreuses étapes et le processus est compliqué.Parmi elles, la mise en correspondance d’images – l’identification du même individu dans différentes images – est particulièrement chronophage.

Une étude de 2014 menée par Tyne et al. estimé que lors d'une étude d'un an de capture et de remise à l'eau des dauphins tachetés (Stenella longirostris),La correspondance des images a nécessité plus de 1 100 heures de travail manuel et a représenté près d’un tiers du coût total du projet..

Récemment, des chercheurs, dont Philip T. Patton de l'Université d'Hawaï, ont utilisé plus de 50 000 photos (dont 24 espèces de cétacés et 39 catalogues) pour former un modèle de reconnaissance d'images multi-espèces basé sur la reconnaissance faciale ArcFace Classification Head.Le modèle a atteint une précision moyenne (MAP) de 0,869 sur l’ensemble de test. Parmi eux, les scores MAP de 10 répertoires ont dépassé 0,95.

La recherche a été publiée dans la revue Methods in Ecology and Evolution, intitulée « Une approche d’apprentissage profond pour la photo-identification démontre des performances élevées sur deux douzaines d’espèces de cétacés ».

Les résultats de la recherche ont été publiés dans Methods in Ecology and Evolution.

Adresse du document :

https://besjournals.onlinelibrary.wiley.com/doi/full/10.1111/2041-210X.14167

Ensemble de données : 25 espèces, 39 catalogues

Introduction aux données

Happywhale et Kaggle ont collaboré avec des chercheurs du monde entier pour rassembler un ensemble de données à grande échelle sur les baleines multi-espèces. Cet ensemble de données a été collecté pour un concours Kaggle qui demandait aux équipes d'identifier des cétacés individuels à partir d'images de leurs nageoires dorsales/vues latérales.L'ensemble de données contient 41 catalogues de 25 espèces, chaque catalogue contient une espèce et certaines espèces des catalogues apparaissent à plusieurs reprises.

L'étude a supprimé deux catalogues de compétition car l'un d'eux ne contenait que 26 images de faible qualité pour la formation et les tests, et l'autre catalogue manquait d'un ensemble de tests.L'ensemble de données final contient 50 796 images d'entraînement et 27 944 images de test, dont les 50 796 images d'entraînement contiennent 15 546 identités.Parmi ces identités, 9 240 (59%) n'ont qu'une seule image d'entraînement et 14 210 (91%) ont moins de 5 images d'entraînement.

Adresse du jeu de données et du code :

https://github.com/knshnb/kaggle-happywhale-1st-place

Données de formation

Pour résoudre le problème des arrière-plans complexes dans les images, certains participants ont formé des modèles de recadrage d'images capables de détecter automatiquement les cétacés dans les images et de dessiner des cadres de délimitation autour d'eux. Comme on peut le voir dans la figure ci-dessous,Ce pipeline comprend 4 détecteurs de baleines utilisant différents algorithmes, notamment YOLOv5 et Detic.La diversité des détecteurs augmente la robustesse du modèle et permet l'augmentation des données sur les données expérimentales.

Figure 1 : Images de 9 catégories du concours et cadres de délimitation générés par 4 détecteurs de baleines

La probabilité de récolte générée par chaque boîte englobante est : 0,60 pour le rouge, 0,15 pour le vert olive, 0,15 pour l'orange et 0,05 pour le bleu. Après le recadrage, les chercheurs ont redimensionné chaque image à 1024 x 1024 pixels pour être compatible avec la dorsale EfficientNet-B7.

Après le redimensionnement, appliquez des techniques d'augmentation des données telles que la transformation affine, le redimensionnement et le recadrage, les niveaux de gris, le flou gaussien, etc.Évitez les modèlesSurapprentissage sérieux.

L'augmentation des données fait référence à la transformation ou à l'expansion des données d'origine pendant le processus de formation pour augmenter la diversité et la quantité d'échantillons de formation, améliorant ainsi la capacité de généralisation et la robustesse du modèle.

Formation du modèle : identification des espèces et des individus

La figure suivante montre le processus de formation du modèle, comme indiqué dans la partie orange.Les chercheurs ont divisé le modèle de reconnaissance d’image en trois parties : la colonne vertébrale, le cou et la tête.

Figure 2 : Pipeline de formation du modèle de reconnaissance d'images multi-espèces

La première ligne de la figure montre les étapes de prétraitement (en prenant l’image du dauphin commun Delphinus delphis comme exemple).Les cultures sont générées par 4 modèles de détection d'objets et l'étape d'augmentation des données génère deux exemples d'images.

La ligne du bas montre les étapes de formation du réseau de classification d’images.De la colonne vertébrale au cou jusqu'à la tête.

L'image passe d'abord par le réseau jusqu'à la dorsale.Une série d’études menées au cours de la dernière décennie a produit des dizaines de backbones populaires, notamment ResNet, DenseNet, Xception et MobileNet. Éprouvé,EfficientNet-B7 est plus performant dans l’application cétacés.

Backbone prend une image et la traite via une série de couches convolutives et de regroupement pour produire une représentation 3D simplifiée de l'image. Neck réduit cette sortie à un vecteur unidimensionnel, également appelé vecteur propre.

Les deux modèles de tête convertissent les vecteurs de caractéristiques en probabilités de classe, à savoir Pr(espèce) ou Pr(individu).Utilisé respectivement pour l'identification des espèces et l'identification individuelle.Ces têtes de classification sont appelées ArcFace sous-centrées avec marges dynamiques et sont généralement applicables aux scénarios de reconnaissance d'images multi-espèces.

Résultats expérimentaux : précision moyenne de 0,869

Nous avons obtenu une précision moyenne (MAP) de 0,869 pour les prédictions sur 21 192 images dans l'ensemble de test (39 catalogues de 24 espèces).Comme le montre la figure ci-dessous, la précision moyenne varie selon les espèces et est indépendante du nombre d’images d’entraînement ou de test.

Figure 3 : Précision moyenne sur l'ensemble de test

Le panneau supérieur montre le nombre d’images pour chaque espèce par objectif (c’est-à-dire formation ou test). Les espèces avec plusieurs catalogues sont représentées par x.

La figure montre que le modèle est plus performant dans l’identification des baleines à dents, mais moins performant dans l’identification des baleines à fanons.Seules deux espèces de baleines à fanons ont obtenu des résultats supérieurs à la moyenne.

Il existe également des différences dans les performances des modèles pour les espèces multi-catalogues.Par exemple, les scores MAP pour le petit rorqual commun (Balaenoptera acutorostrata) entre différents catalogues étaient respectivement de 0,79 et 0,60. D’autres espèces comme les bélugas (Delphinapterus leucas) et les orques présentent également de grandes différences de performances entre les catalogues.

Bien que les chercheurs n’aient pas trouvé de raison pour expliquer cette différence de performance au niveau du répertoire,Mais ils ont découvert que certains indicateurs qualitatifs tels que le flou, l'unicité, la confusion des étiquettes, la distance, le contraste et les éclaboussures peuvent affecter le score de précision d'une image.

Figure 4 : Variables susceptibles d'affecter les différences de performances au niveau du répertoire

Chaque point de la figure représente un répertoire dans l'ensemble de données de compétition, et les pixels représentent la largeur de l'image et de la boîte englobante. Les identifiants distincts indiquent le nombre d’individus distincts dans l’ensemble d’apprentissage. Cependant,Il n'existe pas de corrélation claire entre la MAP au niveau du catalogue et la largeur moyenne de l'image, la largeur moyenne de la boîte englobante, le nombre d'images d'entraînement, le nombre d'individus différents et le nombre d'images d'entraînement par individu.

En résumé, les chercheurs ont suggéré qu'en utilisant ce modèle pour la prédiction, la précision moyenne de 10 catalogues représentant 7 espèces était supérieure à 0,95, et les performances étaient meilleures que le modèle de prédiction traditionnel, ce qui montre en outre que l'utilisation de ce modèle peut identifier correctement les individus.En outre, les chercheurs ont également résumé 7 points concernant la recherche sur les baleines au cours de l'expérience :

L’identification de la nageoire dorsale a donné les meilleurs résultats.
Les répertoires comportant moins de fonctionnalités individuelles distinctes ont obtenu de mauvais résultats.
La qualité de l'image est importante.
Identifier les animaux par leur couleur peut être difficile.
Les espèces dont les caractéristiques sont éloignées de l’ensemble d’entraînement obtiendront un score médiocre.
Le prétraitement reste un obstacle.
Les variations dans le marquage des animaux peuvent affecter les performances du modèle.

Happywhale : une plateforme de science citoyenne pour la recherche sur les cétacés

Happywhale, mentionné dans l'introduction du jeu de données de cet article, est une plateforme scientifique publique permettant de partager des images de baleines.Son objectif est de débloquer de grands ensembles de données et de faciliter la correspondance rapide des pièces d’identité avec photo.et de créer un engagement envers la recherche scientifique pour le public.

Adresse du site officiel de Happywhale :

https://happywhale.com/

Happywhale a été fondée en août 2015. Son cofondateur Ted Cheeseman est un naturaliste qui a grandi dans la baie de Monterey, en Californie. Il aime observer les baleines depuis son enfance et a voyagé à plusieurs reprises en Antarctique et sur l'île de Géorgie du Sud.Il a plus de 20 ans d’expérience dans l’exploration de l’Antarctique et la gestion du tourisme polaire.

Ted Cheeseman, cofondateur de Happywhale

En 2015, Ted quitte Cheesemans' Ecology Safaris (une entreprise d'écotourisme fondée en 1980 par les parents de Ted, qui sont également naturalistes) après 21 ans de travail, et rejoint le projet Happywhale. Recueillir des données scientifiques pour approfondir notre compréhension et notre conservation des baleines.

En quelques années seulement,Happywhale.com est devenu l’un des plus grands contributeurs au domaine de la recherche sur les cétacés.En plus du grand nombre d’images d’identification des baleines, elles fournissent également de nombreuses informations sur la compréhension des schémas de migration des baleines.

Liens de référence :

[1]https://baijiahao.baidu.com/s?id=1703893583395168492

[2]https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0086132

[3]https://phys.org/news/2023-07-individual-whale-dolphin-id-facial.html#google_vignette

[4]https://happywhale.com/about