Jeff Dean Apprécie La Nouvelle Recherche De Google : Un Modèle Bioacoustique De Baleine Peut Identifier 8 Types De Baleines
L’identification des sons des baleines est d’une grande importance pour la protection de l’écologie marine. Les scientifiques peuvent analyser les sons des baleines pour comprendre leur espèce, leurs voies de migration, leurs habitudes de reproduction et leur structure sociale, et ainsi formuler des politiques de protection plus efficaces.
Cependant, la reconnaissance des sons des baleines n’est pas une tâche facile.Premièrement, il existe plus de 94 espèces de baleines connues dans le monde, et la gamme de fréquences acoustiques est extrêmement large, allant des ondes sonores aussi basses que 10 Hz des baleines bleues aux fréquences aussi élevées que 120 kHz des baleines à dents. Deuxièmement, même les enregistrements d’une même espèce de baleine peuvent varier considérablement selon le lieu et le temps, ce qui complique encore davantage le développement du modèle. Enfin, les chercheurs ont une connaissance très limitée des caractéristiques acoustiques de certaines baleines rares, de sorte qu’ils sont incapables de distinguer avec précision les sons des différentes espèces de baleines.
Pour résoudre ce problème, l’équipe de recherche de Google a développé un nouveau modèle bioacoustique de baleine. Le modèle peut identifier huit espèces différentes parmi les 94 espèces de baleines actuellement connues.Il s’agit notamment des baleines à bosse, des orques, des rorquals bleus, des rorquals communs, des petits rorquals, des rorquals de Bryde, des baleines franches de l’Atlantique Nord et des baleines franches du Pacifique Nord. Les chercheurs ont également étendu le modèle à Biotwang et l’ont utilisé pour étiqueter les données de plus de 200 000 heures d’enregistrements sous-marins.
La recherche connexe a été publiée sur le site officiel de Google Research sous le titre « Sifflements, chants, boings et biotwangs : reconnaître les vocalisations des baleines avec l'IA ».
Points saillants de la recherche :
* Identifie 8 espèces différentes de 94 baleines, y compris plusieurs appels pour 2 espèces
* Inclut le son Biotwang qui a récemment été confirmé comme étant l'appel du rorqual de Bryde
* Les modèles peuvent être appelés individuellement via l'API TensorFlow SavedModel
Adresse du document :
Le projet open source « awesome-ai4s » rassemble plus de 100 interprétations d'articles AI4S et fournit des ensembles de données et des outils massifs :
https://github.com/hyperai/awesome-ai4s
Ensembles de données : créer 4 nouveaux ensembles de données d'appels de baleines, couvrant 8 des quelque 94 espèces de baleines
Sur la base des données existantes sur la reconnaissance des appels de baleines, les chercheurs ont établi quatre nouveaux ensembles de données sur les appels de baleines.Il s'agit notamment des cris « boing » des petits rorquals, des cris « upcalls » et « gunshot » des baleines franches du Pacifique Nord, ainsi que des cris des baleines bleues et des rorquals communs.
Le bruit « boing » d'un petit rorqual
Le mystérieux son Biotwang, enregistré il y a des décennies, n'avait jamais été identifié comme étant produit par une espèce particulière de baleine.Jusqu'à récemment, de nouvelles recherches de la National Oceanic and Atmospheric Administration (NOAA) indiquaient que le son était produit par les baleines de Bryde.
Les vocalisations des petits rorquals ont été documentées encore plus loin que celles de Bryde, remontant à des enregistrements sous-marins dans les années 1950. Ce n'est qu'en 2005 que les scientifiques de la NOAA ont attribué ce son spécifique aux petits rorquals.
L'ensemble d'étiquettes que les chercheurs ont initialement obtenu du Centre des sciences halieutiques des îles du Pacifique (PIFSC) n'incluait pas ce son, connu sous le nom de « boing ». Par conséquent, lorsque les chercheurs de Google ont utilisé ces données pour la formation initiale du modèle, le modèle a identifié ce son comme un modèle incorrect. Les chercheurs ont ensuite mené des études approfondies sur ces sons nouvellement découverts. À terme, les sons des petits rorquals pourraient être identifiés avec précision et intégrés dans des modèles d’identification multi-espèces.
Appel de « lever » et « coup de feu » de la baleine franche du Pacifique Nord
La baleine noire du Pacifique Nord (NPRW) est une espèce de baleine extrêmement menacée, principalement répartie dans les eaux du Pacifique Nord. Les baleines franches du Pacifique Nord ont été autrefois chassées presque jusqu'à l'extinction par la chasse à la baleine, et il n'en reste aujourd'hui qu'une très petite population. On estime que la population orientale de baleines franches ne compte que 30 à 35 individus.
Dans le même temps, la population de baleines franches du Pacifique Nord est la seule population connue de baleines franches capable de « chanter ». Bien que le son du « cri ascendant » puisse provenir des baleines franches, des baleines boréales ou même des baleines à bosse, la baleine franche du Pacifique Nord peut être distinguée par son cri distinctif de « coup de feu ».
Étiquettes sonores des baleines bleues et des rorquals communs
Les chercheurs ont déclaré qu'avant leur collaboration initiale avec le Centre des sciences halieutiques des îles du Pacifique (PIFSC) pour développer le modèle de baleine à bosse, le PIFSC avait déjà annoté certaines de leurs données, identifiant la présence de baleines bleues et de rorquals communs. Ces baleines ne vivent pas seulement autour des îles hawaïennes, mais sont également largement réparties dans les eaux libres des océans du monde.
Pour cette étude, les chercheurs ont examiné spécifiquement les données collectées par l’hydrophone MARS géré par le Monterey Bay Aquarium Research Institute (MBARI). Cependant, comme il n’existe pas d’étiquettes de base pour les données MARS, les chercheurs ont formé un modèle spécifiquement pour identifier les baleines bleues et les rorquals communs sur la base des données PIFSC et l’ont utilisé pour générer des pseudo-étiquettes pour les données MBARI.
Architecture du modèle : classer les spectrogrammes en fonction de l'audio brut
Les chercheurs ont noté que le modèle convertit d’abord les données audio brutes en données d’image spectrographique pour représenter chaque clip sonore de 5 secondes.L'extrémité avant du modèle utilise un axe de fréquence à l'échelle mel, une compression d'amplitude logarithmique et normalise en soustrayant l'amplitude logarithmique 5%-ile de chaque bande de fréquence. Enfin, le modèle a classé les images en fonction de 12 espèces de baleines ou de types de vocalisation.
De plus, le modèle peut être appelé indépendamment via l'API SavedModel de TensorFlow.Cela signifie que non seulement nous pouvons utiliser ce modèle pour identifier les espèces et les sons inclus lors de la formation du modèle, mais nous pouvons également utiliser les intégrations pré-formées de ce modèle pour rechercher, identifier de nouveaux sons ou espèces de baleines et créer rapidement des classificateurs correspondants.
Test du modèle : le modèle présente de bonnes performances de discrimination pour chaque catégorie
La surveillance acoustique passive à long terme nécessite non seulement la classification correcte des espèces, mais également l’exclusion correcte des événements sonores de fond et non animaux. Les chercheurs n’ont donc pas limité la formation aux étiquettes positives, mais ont également extrait en profondeur les étiquettes négatives et les données de base des enregistrements fournis par d’autres institutions partenaires.
Pour valider le modèle, les chercheurs ont sélectionné au hasard un sous-ensemble uniforme de 20% à partir des données de formation disponibles comme ensemble de test.La figure ci-dessous décrit les performances du modèle sur les ensembles de tests de différentes espèces.
* Une valeur élevée de l’AUC (ROC) indique que le modèle est capable de bien distinguer les étiquettes positives et négatives.
* La sensibilité à 0,99 représente la fraction de résultats de classification d'étiquettes véritablement positives qui obtiennent un score supérieur à un seuil qui exclut les étiquettes véritablement négatives de 99%.
* La précision à 0,5 représente la proportion d'espèces correctement prédites à un seuil de sensibilité raisonnable (moins de 50% de résultats de classification d'étiquettes positives réelles).
Dans l’ensemble, le modèle peut identifier avec précision n’importe laquelle des huit espèces de baleines, y compris les baleines à bosse, les orques, les rorquals bleus, les rorquals communs, les petits rorquals, les rorquals de Bryde, les baleines franches de l’Atlantique Nord (NARW) et les baleines franches du Pacifique Nord (NPRW).Pour les classes de baleines de Minke, du Pacifique Nord, de l’Atlantique Nord et de Bryde, les valeurs des trois mesures sont proches de 1, démontrant l’excellente performance du modèle avec moins de compromis entre les étiquettes faussement positives et faussement négatives. Pour l’écholocation et les sifflements des orques, le compromis est encore plus prononcé.
Combiner l'IA et les technologies d'apprentissage automatique pour contribuer à la protection de la vie marine
La publication des derniers résultats de Google Research est d’une grande importance pour la compréhension et même la réalisation d’une communication inter-espèces. Jeff Dean, directeur scientifique de Google DeepMind et de Google Research, a déclaré sur les réseaux sociaux : « Le Master en Langues Humaines (LLM) est dépassé. Nous devrions tous nous réjouir de cette avancée ! »
Un cadre supérieur spécialisé en science des données a également déclaré : « Je peux enfin déchiffrer les rumeurs des baleines sur les fonds marins ! J’ai hâte de voir si elles discutent des dernières tendances en matière de krill ou si elles se disputent sur les meilleurs points chauds des fonds marins ! »
Certains internautes pensent également que « c'est une étape importante vers la possibilité de communiquer avec d'autres espèces sur Terre, et c'est une étape importante ! »
Afin d'aider les scientifiques à mieux comprendre comment les baleines communiquent, Google a commencé à explorer comment utiliser l'IA et les technologies d'apprentissage automatique pour analyser et identifier les sons des baleines en 2018, réalisant ainsi la belle vision de protéger davantage d'espèces marines menacées et de maintenir un écosystème marin sain.
En 2018, Google Research s'est associé au Centre des sciences halieutiques des îles du Pacifique (PIFSC) de la National Oceanic and Atmospheric Administration (NOAA) pourUn modèle de classification basé sur des réseaux neuronaux convolutifs a été développé pour détecter les appels des baleines à bosse, lançant officiellement la recherche sur la classification des ondes sonores des baleines.
Le modèle a été utilisé pour identifier les appels des baleines à bosse dans plus de 187 000 heures d'audio collectées par la NOAA, confirmant les modèles spatio-temporels du chant des baleines à bosse et découvrant un nouveau site à Kingman Reef où les sons des baleines à bosse n'avaient pas été observés auparavant.
Adresse du document :
https://research.google/blog/acoustic-detection-of-humpback-whales-using-a-convolutional-neural-network/
En 2019, des chercheurs ont collaboré avec Google Creative Lab pour lancer un outil de visualisation interactif appelé « Pattern Radio » basé sur ce modèle.Affiche une année de données audio sous-marines sur les baleines collectées près d'Hawaï.
Le modèle a annoté l'audio, et certaines données ont été accompagnées d'informations supplémentaires fournies par des experts, permettant aux chercheurs d'analyser plus précisément les schémas vocaux des baleines, en particulier les chants des baleines à bosse.
Adresse de l'outil Pattern Radio :
https://patternradio.withgoogle.com/
En fait, en plus de Google, le CETI s'est également engagé depuis longtemps dans la recherche sur les cris des baleines.En mai de cette année, le CETI a collaboré avec des chercheurs du MIT pour utiliser l'apprentissage automatique afin d'analyser les enregistrements de cachalots, confirmant que les sons émis par les cachalots sont structurés et séparent l'alphabet de prononciation des cachalots, qui s'est avéré très similaire au système d'expression du langage humain.
À mesure que la recherche continue de s’approfondir, une nouvelle façon de communiquer entre espèces pourrait devenir une réalité. Cette perspective modifiera non seulement notre compréhension de la vie marine, mais redéfinira également la relation entre les humains et la nature, inaugurant une nouvelle ère de coexistence harmonieuse entre les humains et les animaux.