Jeff Dean Gefällt Googles Neue Forschung: Wal-Bioakustikmodell Kann 8 Walarten Identifizieren
Die Identifizierung von Walgeräuschen ist für den Schutz der Meeresökologie von großer Bedeutung. Wissenschaftler können die Laute der Wale analysieren, um ihre Arten, Wanderrouten, Brutgewohnheiten und Sozialstruktur zu verstehen und so wirksamere Schutzmaßnahmen zu formulieren.
Allerdings ist das Erkennen von Walgeräuschen keine leichte Aufgabe.Erstens sind weltweit über 94 Walarten bekannt und der akustische Frequenzbereich ist extrem breit und reicht von Schallwellen mit nur 10 Hz bei Blauwalen bis zu Frequenzen von bis zu 120 kHz bei Zahnwalen. Zweitens können selbst Aufzeichnungen derselben Walart je nach Ort und Zeit erheblich voneinander abweichen, was die Modellentwicklung zusätzlich erschwert. Und schließlich verfügen die Forscher nur über sehr begrenzte Kenntnisse über die akustischen Merkmale einiger seltener Wale, sodass sie die Laute verschiedener Walarten nicht genau unterscheiden können.
Um dieses Problem zu lösen, hat das Google Research-Team ein neues bioakustisches Walmodell entwickelt. Das Modell kann acht verschiedene Arten der derzeit 94 bekannten Walarten identifizieren.Dazu gehören Buckelwale, Killerwale, Blauwale, Finnwale, Zwergwale, Brydewale, Nordkaper und Nordpazifische Glattwale. Die Forscher erweiterten das Modell auch auf Biotwang und nutzten es, um Daten aus mehr als 200.000 Stunden Unterwasseraufzeichnungen zu beschriften.
Die entsprechende Forschungsarbeit wurde auf der offiziellen Website von Google Research unter dem Titel „Whistles, songs, boings, and biotwangs: Recognizing whale vocalizations with AI“ veröffentlicht.
Forschungshighlights:
* Identifiziert 8 verschiedene Arten von 94 Walen, einschließlich mehrerer Rufe für 2 Arten
* Enthält den Biotwang-Laut, der kürzlich als Ruf des Brydewals bestätigt wurde
* Modelle können einzeln über die TensorFlow SavedModel API aufgerufen werden
Papieradresse:
Das Open-Source-Projekt „awesome-ai4s“ vereint mehr als 100 AI4S-Papierinterpretationen und stellt umfangreiche Datensätze und Tools bereit:
https://github.com/hyperai/awesome-ai4s
Datensätze: Erstellen Sie 4 neue Walruf-Datensätze, die 8 der etwa 94 Walarten abdecken
Auf Grundlage der vorhandenen Daten zur Walruferkennung erstellten die Forscher vier neue Datensätze zu Walrufen.Dazu gehören die „Boing“-Rufe der Zwergwale, die „Upcalls“- und „Gunshot“-Rufe der Nordpazifischen Glattwale sowie die Rufe der Blauwale und Finnwale.
Das „Boing“-Geräusch eines Zwergwals
Das mysteriöse Biotwang-Geräusch, das vor Jahrzehnten aufgezeichnet wurde, konnte nie einer bestimmten Walart zugeordnet werden.Bis vor Kurzem deuteten neue Forschungsergebnisse der National Oceanic and Atmospheric Administration (NOAA) darauf hin, dass das Geräusch von Brydewalen verursacht wurde.
Die Lautäußerungen der Zwergwale wurden sogar noch früher dokumentiert als die der Brydewale, nämlich in U-Boot-Aufzeichnungen aus den 1950er Jahren. Erst im Jahr 2005 schrieben NOAA-Wissenschaftler dieses spezielle Geräusch Zwergwalen zu.
Der Etikettensatz, den die Forscher ursprünglich vom Pacific Islands Fisheries Science Center (PIFSC) erhielten, enthielt dieses als „Boing“ bekannte Geräusch nicht. Als die Google-Forscher diese Daten für das anfängliche Modelltraining verwendeten, identifizierte das Modell diesen Ton als falsches Muster. Anschließend führten die Forscher eingehende Studien zu diesen neu entdeckten Geräuschen durch. Letztendlich konnten die Laute der Zwergwale genau identifiziert und in Modelle zur Identifizierung mehrerer Arten integriert werden.
Nordpazifischer Glattwal: „Rise Call“ und „Gunshot“-Ruf
Der Nordpazifische Glattwal (NPRW) ist eine extrem gefährdete Walart, die hauptsächlich in den Gewässern des Nordpazifiks vorkommt. Nordpazifische Glattwale wurden einst durch Walfang fast bis zur Ausrottung gejagt und heute ist nur noch eine sehr kleine Population übrig. Es wird geschätzt, dass die östliche Population der Glattwale nur 30–35 Tiere umfasst.
Gleichzeitig ist die Population der Glattwale im Nordpazifik die einzige bekannte Glattwalpopulation, die „singen“ kann. Während der Klang des „steigenden Rufs“ von Glattwalen, Grönlandwalen oder sogar Buckelwalen stammen kann, kann der Nordpazifische Glattwal an seinem charakteristischen „Schuss“-Ruf erkannt werden.
Blauwal- und Finnwalgeräusche Tags
Die Forscher sagten, dass das PIFSC vor ihrer anfänglichen Zusammenarbeit mit dem Pacific Islands Fisheries Science Center (PIFSC) zur Entwicklung des Buckelwalmodells bereits einige seiner Daten kommentiert und das Vorhandensein von Blauwalen und Finnwalen festgestellt hatte. Diese Wale leben nicht nur rund um die Hawaii-Inseln, sondern sind auch in den offenen Gewässern der Weltmeere weit verbreitet.
Für diese Studie untersuchten die Forscher insbesondere Daten, die vom MARS-Hydrophon des Monterey Bay Aquarium Research Institute (MBARI) gesammelt wurden. Da es jedoch keine Basisbezeichnungen für die MARS-Daten gibt, trainierten die Forscher ein Modell speziell für die Identifizierung von Blauwalen und Finnwalen auf der Grundlage der PIFSC-Daten und verwendeten es, um Pseudobezeichnungen für die MBARI-Daten zu generieren.
Modellarchitektur: Klassifizieren Sie Spektrogramme basierend auf Rohaudio
Die Forscher stellten fest, dass das Modell zunächst die Roh-Audiodaten in Spektrogramm-Bilddaten umwandelt, um jeden 5-Sekunden-Soundclip darzustellen.Das Frontend des Modells verwendet eine Mel-skalierte Frequenzachse, eine Log-Amplitudenkomprimierung und normalisiert durch Subtraktion der 5%-ile-Log-Amplitude jedes Frequenzbandes. Schließlich klassifizierte das Modell die Bilder in 12 Walarten oder Lautäußerungstypen.
Darüber hinaus kann das Modell unabhängig über die SavedModel-API von TensorFlow aufgerufen werden.Dies bedeutet, dass wir dieses Modell nicht nur verwenden können, um die Arten und Geräusche zu identifizieren, die beim Trainieren des Modells enthalten waren, sondern dass wir auch die vortrainierten Einbettungen dieses Modells verwenden können, um nach neuen Geräuschen oder Walarten zu suchen und diese zu identifizieren und schnell entsprechende Klassifikatoren zu erstellen.
Modelltest: Das Modell weist für jede Kategorie eine gute Unterscheidungsleistung auf
Eine langfristige passive akustische Überwachung erfordert nicht nur die richtige Klassifizierung der Arten, sondern auch den richtigen Ausschluss von Hintergrundgeräuschen und Geräuschen anderer Tiere. Daher beschränkten sich die Forscher beim Training nicht auf positive Bezeichnungen, sondern extrahierten auch umfassend negative Bezeichnungen und Hintergrunddaten aus Aufzeichnungen anderer Partnerinstitutionen.
Um das Modell zu validieren, wählten die Forscher zufällig eine einheitliche Teilmenge von 20% aus den verfügbaren Trainingsdaten als Testsatz aus.Die folgende Abbildung beschreibt die Leistung des Modells anhand der Testsätze verschiedener Arten.
* Ein hoher AUC-Wert (ROC) zeigt an, dass das Modell gut zwischen positiven und negativen Bezeichnungen unterscheiden kann.
* Die Sensitivität von 0,99 stellt den Anteil der echten positiven Label-Klassifizierungsergebnisse dar, die über einem Schwellenwert liegen, der echte negative Labels von 99% ausschließt.
* Die Präzision von 0,5 stellt den Anteil der korrekt vorhergesagten Arten bei einer angemessenen Empfindlichkeitsschwelle dar (weniger als 50% an echten positiven Klassifizierungsergebnissen per Etikett).
Insgesamt kann das Modell jede der acht Walarten genau identifizieren, darunter Buckelwale, Schwertwale, Blauwale, Finnwale, Zwergwale, Brydewale, Nordkaper (NARW) und Nordpazifik-Glattwale (NPRW).Für die Walklassen Zwergwal, Nordpazifik, Nordatlantik und Brydewal liegen die Werte für alle drei Metriken nahe 1, was die hervorragende Leistung des Modells mit weniger Kompromissen zwischen falsch positiven und falsch negativen Bezeichnungen zeigt. Bei der Echoortung und den Pfiffen der Killerwale ist dieser Kompromiss sogar noch ausgeprägter.
Kombination von KI- und maschinellen Lerntechnologien als Beitrag zum Schutz des Meereslebens
Die Veröffentlichung der neuesten Ergebnisse von Google Research ist von großer Bedeutung für das Verständnis und die Ermöglichung einer artenübergreifenden Kommunikation. Jeff Dean, Chefwissenschaftler von Google DeepMind und Google Research, sagte in den sozialen Medien: „Das LLM der menschlichen Sprache ist veraltet. Wir sollten uns alle über diesen Durchbruch freuen!“
Ein leitender Manager mit Schwerpunkt Datenwissenschaft sagte außerdem: „Endlich kann ich den Klatsch der Wale auf dem Meeresboden entschlüsseln! Ich kann es kaum erwarten zu sehen, ob sie sich über die neuesten Krilltrends unterhalten oder über die besten Hotspots am Meeresboden streiten!“
Einige Internetnutzer glauben auch, dass „dies ein wichtiger Schritt hin zur Kommunikation mit anderen Spezies auf der Erde ist und einen Meilenstein darstellt!“
Um Wissenschaftlern dabei zu helfen, die Kommunikation der Wale besser zu verstehen, begann Google 2018 damit, den Einsatz von KI- und maschinellen Lerntechnologien zur Analyse und Identifizierung von Walgeräuschen zu erforschen. Damit konnte die schöne Vision verwirklicht werden, mehr gefährdete Meeresarten zu schützen und ein gesundes Meeresökosystem zu erhalten.
Im Jahr 2018 kooperierte Google Research mit dem Pacific Islands Fisheries Science Center (PIFSC) der National Oceanic and Atmospheric Administration (NOAA), umZur Erkennung von Buckelwalrufen wurde ein auf Convolutional Neural Networks basierendes Klassifizierungsmodell entwickelt, womit die Forschung zur Klassifizierung von Walschallwellen offiziell eingeleitet wurde.
Mithilfe des Modells wurden Buckelwalrufe in über 187.000 Stunden Audiomaterial identifiziert, das von der NOAA gesammelt wurde. Dadurch wurden die räumlich-zeitlichen Muster der Buckelwalgesänge bestätigt und eine neue Stelle am Kingman Reef entdeckt, an der zuvor keine Buckelwalgeräusche beobachtet worden waren.
Papieradresse:
https://research.google/blog/acoustic-detection-of-humpback-whales-using-a-convolutional-neural-network/
Im Jahr 2019 arbeiteten Forscher mit Google Creative Lab zusammen, um basierend auf diesem Modell ein interaktives Visualisierungstool namens „Pattern Radio“ auf den Markt zu bringen.Zeigt ein Jahr lang Unterwasser-Audiodaten über Wale, die in der Nähe von Hawaii gesammelt wurden.
Das Modell kommentierte den Ton und einige der Daten enthielten zusätzliche Erkenntnisse von Experten, sodass die Forscher die Stimmmuster der Wale, insbesondere die Gesänge der Buckelwale, genauer analysieren konnten.
Adresse des Pattern Radio-Tools:
https://patternradio.withgoogle.com/
Tatsächlich engagiert sich neben Google auch CETI seit langem in der Erforschung von Walrufen.Im Mai dieses Jahres arbeitete CETI mit Forschern des MIT zusammen, um mithilfe von maschinellem Lernen Aufnahmen von Pottwalen zu analysieren. Dabei wurde bestätigt, dass die von Pottwalen erzeugten Laute strukturiert sind und das Aussprachealphabet der Pottwale getrennt ist. Es zeigte sich, dass dieses dem menschlichen Sprachausdruckssystem große Ähnlichkeiten aufweist.
Mit fortschreitender Forschung könnte eine neue Art der Kommunikation zwischen Arten Wirklichkeit werden. Diese Aussicht wird nicht nur unser Verständnis des Meereslebens verändern, sondern auch die Beziehung zwischen Mensch und Natur neu definieren und eine neue Ära harmonischer Koexistenz zwischen Mensch und Tier einläuten.