MIT/CETI-Team Nutzt Maschinelles Lernen, Um Das Aussprachealphabet Von Pottwalen Zu Isolieren! Sehr Ähnlich Dem Menschlichen Sprachsystem, Mit Stärkerer Informationsübertragungskapazität!
In der meeresökologischen Forschung ist die Bioakustik eine wichtige Möglichkeit, Informationen über Meeresorganismen zu erhalten.Wie der Name schon sagt, beschäftigt sich die Bioakustik hauptsächlich mit der Entstehung, Ausbreitung und Rezeption von Tiergeräuschen.Dank der technologischen Entwicklung sind Forscher heute in der Lage, Tiergeräusche zu entschlüsseln und so Erkenntnisse über Art, Geschlecht, individuelle Identifikation oder Gesundheitszustand von Tieren zu gewinnen.
Allerdings erfordert die traditionelle Bioakustik einen hohen Personalaufwand für die Verarbeitung und Analyse von Feldaufzeichnungen im Rahmen der Populationsüberwachung, was zeitaufwändig und kostspielig ist. Durchbrüche bei der Geräuscherkennung durch KI bieten eine ideale Lösung für diese Herausforderung. Dank seiner automatisierten Verarbeitung und seiner Selbstlernfähigkeiten hat das maschinelle Lernen im Bereich der Bioakustik große Fortschritte gemacht.
Heute ist die maschinelle Lernanalyse von Meeresgeräuschen ausgereifte Anwendungsmöglichkeiten. Unter allen Meereslebewesen weisen Wale und Delfine komplexe soziale und kooperative Verhaltensmerkmale auf, die denen der menschlichen Gesellschaft sehr ähnlich sind und einen äußerst hohen Forschungswert besitzen.
Unter ihnen sind Pottwale aufgrund ihres Sprachsystems, das dem der menschlichen Gesellschaft sehr ähnlich ist, in den Fokus der Forschung gerückt.
Als sehr soziales Säugetier leben Pottwale in Familien und haben eine komplexe Sozialstruktur.Um Gruppenentscheidungen zu treffen, kommunizieren sie die meiste Zeit durch kontinuierliche Klickgeräusche, die zwischen 10 Sekunden und einer halben Stunde andauern können. Obwohl ihr Kommunikationssystem einfach erscheint, kann es eine Reihe komplexer koordinierter Verhaltensweisen erreichen. Der Kontrast zwischen den beiden ist zu einem „Rätsel“ geworden, das Forscher lösen möchten. Zahlreiche Studien haben bereits die Komplexität der Lautäußerungen von Pottwalen aufgezeigt, die spezifischen Merkmale und die Struktur ihrer Codas sind jedoch nach wie vor unbekannt.
Zu diesem Zweck nutzten Pratyusha Sharma vom MIT und Forscher vom CETI maschinelles Lernen, um Aufnahmen von Pottwalen zu analysieren.Es wurde bestätigt, dass die Laute der Pottwale durch eine Kombination verschiedener Merkmale strukturiert und geformt sind. Das Aussprachealphabet des Pottwals wurde ebenfalls mithilfe von Technologie des maschinellen Lernens separiert und man stellte fest, dass sein Sprachausdruckssystem dem des Menschen sehr ähnlich ist und über eine stärkere Informationstransportkapazität verfügt.
Die entsprechende Forschungsarbeit wurde in Nature Communications unter dem Titel „Contextual and combinatorial structure in sperm whale vocalisations“ veröffentlicht.
Forschungshighlights:
* In dieser Studie wurden Daten des Dominica Sperm Whale Project (DSWP), der größten verfügbaren Pottwaldatenbank, verwendet, um 8.719 Coda-Aufzeichnungen von etwa 60 verschiedenen Pottwalen aus der Pottwalgemeinschaft der Ostkaribik zu analysieren und ein „phonetisches Pottwalalphabet“ zu definieren.
* Die Sprache der Pottwale ist kombinatorisch, das heißt, sie können verschiedene Klicks und Rhythmen kombinieren und modulieren, um komplexe Lautäußerungen zu erzeugen, die der menschlichen Sprache sehr ähnlich sind.
Papieradresse:
https://www.nature.com/articles/s41467-024-47221-8
Das Open-Source-Projekt „awesome-ai4s“ vereint mehr als 100 AI4S-Papierinterpretationen und stellt umfangreiche Datensätze und Tools bereit:
https://github.com/hyperai/awesome-ai4s
Datensatz: große Datenmenge und langer Zeitraum
Der in dieser Studie verwendete Datensatz stammt vom Dominica Sperm Whale Project (DSWP), dem derzeit größten Archiv für Pottwaldaten.Die Forscher nutzten für ihre Analyse Aufnahmen von 60 verschiedenen Pottwalen aus der ostkaribischen Pottwal-Klade 1 (EC-1), die insgesamt 8.719 Kielwasserdaten umfassten.
Erwähnenswert ist, dass der Datensatz nicht nur manuell annotierte Tail-Daten von verschiedenen Plattformen und Aufzeichnungssystemen zwischen 2005 und 2018 enthält; Es enthält außerdem Daten, die zwischen 2014 und 2018 von an Pottwalen angebrachten Sensoren (DTags) aufgezeichnet wurden.
Pottwal-Wachwasser weist vielfältige Kombinationsmerkmale auf
Um die Veränderungen in den Enden der Pottwalkommunikation und die langfristigen Trends deutlich zu beobachten, verwendeten die Forscher eine Visualisierungsmethode zur Beschreibung dieser Laute. Wie in der folgenden Abbildung gezeigt: Abbildung A zeigt das Schwanzgeräuschdiagramm der Kommunikation zwischen zwei Walen innerhalb von 2 Minuten im DSWP-Datensatz, und die von den Walen abgegebenen Schwanzgeräusche werden jeweils durch Blau und Orange dargestellt.
Anschließend projizierten die Forscher diese Kielwasser auf ein Zeit-Zeit-Diagramm, um die Veränderungen in den Kielwassern der Pottwale über einen Zeitraum von zwei Minuten zu beobachten. Wie in Abbildung B und Abbildung C gezeigt, stellt die horizontale Achse die Zeit dar, seit die Pottwale mit der Kommunikation begonnen haben, und die vertikale Achse stellt die Zeit dar, seit die Kommunikation beendet wurde. In Abbildung C haben die Forscher auch passende Klicks zwischen benachbarten Codas miteinander verbunden. Es ist zu erkennen, dass sich während der Kommunikation die Dauer der Coda fließend ändert und zusätzliche Klicks erscheinen, was komplexe, kontextbezogene Änderungen in der Coda-Struktur offenbart und darauf hindeutet, dass Pottwale über eine größere Informationstransportkapazität verfügen als bisher in Studien berichtet wurde.
Bisher ging man davon aus, dass Pottwale über 21 verschiedene Arten von Schwanzgeräuschen verfügen. Diese Studie zeigte, dassVerschiedene Coda-Typen bestehen aus zwei kontextunabhängigen Merkmalen (Tempo und Rhythmus) und zwei kontextabhängigen Merkmalen (Rubato und Ornamentierung).
Wie in der Abbildung unten gezeigt, haben die Forscher die in einer begrenzten Menge von Mustern innerhalb der Dauer verteilten Nachklangeigenschaften als Tempo bezeichnet. Unter ihnen zeigt das linke Bild, dass die Gesamtdauer des Schwanzgeräuschs des Pottwals der Summe seiner Klickintervalle entspricht; Das rechte Bild zeigt die Veränderungen der Schlusslaute bei unterschiedlichen Rhythmusarten.
In Abbildung B normalisierten die Forscher den ICI-Vektor nach der Gesamtdauer, um eine von der Dauer unabhängige Coda-Darstellung zu erhalten, und nannten sie „Rhythmus“.
In Abbildung C bezeichneten die Forscher die langsame Anpassung der Dauer einer Reihe von Kielwasserwellen durch den Pottwal als „Rubato“ und stellten fest, dass das Rubato allmählich erfolgt, d. h., benachbarte Kielwasser in der Kommunikation der Pottwale sind von kürzerer Dauer als ähnliche Kielwasserwellen anderswo.
In Abbildung D definierten die Forscher das letzte Klicken im Kielwasser des Pottwals als Ornament. Die Ornamente sind nicht zufällig verteilt, sondern tauchen in längeren Wechselspielen an bestimmten Stellen auf.
Die Studie ergab, dass (1) in der Rufsequenz eines einzelnen Wals der Anteil der Ornament-Lautsequenz, die am Anfang der Rufsequenz erscheint, signifikant höher ist als der der Sequenz ohne Ornament-Laut; (2) Der Anteil der am Ende der Rufsequenz erscheinenden Ornamentlautsequenz ist ebenfalls deutlich höher als der der Sequenz ohne Ornamentlaut.
Die Forscher weisen darauf hin, dass alle vier dieser Merkmale von Walen bei der stimmlichen Kommunikation wahrgenommen und umgesetzt werden können und dass sie daher einen bewussten Bestandteil des Kommunikationssystems der Wale darstellen.Rhythmus, Takt, Tremolo und Ornamentierung können frei kombiniert werden, sodass Wale systematisch eine große Anzahl unterscheidbarer Codas synthetisieren können.
Forschungsergebnisse: Aussprachealphabet des Pottwals ähnelt stark dem menschlichen Sprachrepertoire
Durch die obige visuelle Analyse,Die Forscher nutzten maschinelles Lernen, um das Aussprachealphabet des Pottwals zu isolieren, das der menschlichen Sprachbibliothek große Ähnlichkeiten aufweist.Wie in der folgenden Abbildung dargestellt:
Die horizontale Achse stellt den Coda-Rhythmustyp dar, die vertikale Achse stellt den Coda-Rhythmustyp dar und die Farbe jeder Zelle stellt dar, wie oft der Rhythmus/die Rhythmuskombination im DSWP-Datensatz vorkommt. Die Kreisdiagramme in jeder Zelle geben Auskunft darüber, in welchem Ausmaß Tremolo und Ornamente in Codas für jede Merkmalskombination zusammen verwendet werden: Das Kreisdiagramm auf der linken Seite zeigt das Verhältnis von Codas mit Tremolo zu Codas ohne Tremolo, während das Kreisdiagramm auf der rechten Seite das Verhältnis aller Ornamente zeigt, die in dieser Merkmalskombination vorkommen.
Die Forscher stellten fest, dass zwar nicht alle Schwanzmerkmale kombiniert waren,Allerdings weist die Kielwasserströmung des Pottwals eine reichhaltige Kombinationsstruktur mit diskreten und kontinuierlichen Parametern auf, von denen mindestens 143 Kombinationen häufig in Kombination in der Kielwasserströmung auftreten und damit die Zahl der zuvor identifizierten 21 diskreten Kielwasserarten bei weitem übertreffen.
Projekt CETI: Ziel ist die Nutzung maschinellen Lernens zur Ermöglichung artenübergreifender Gespräche
Die Organisation CETI, die dieses Mal mit dem MIT zusammenarbeitet, spielt bei der Untersuchung der Kielwasser von Pottwalen eine wichtige Rolle. CETI ist eine gemeinnützige Organisation, die fortschrittliches maschinelles Lernen und Robotik einsetzt, um die Kommunikation von Pottwalen abzuhören und zu übersetzen.Die Organisation wurde 2020 mit dem Ziel gegründet, Pottwalpopulationen durch das Verständnis und die Übersetzung ihres Kommunikationssystems wirksam zu schützen.
Das CETI-Team besteht aus weltweit führenden Experten für künstliche Intelligenz und natürliche Sprachverarbeitung, Kryptographen, Linguisten, Meeresbiologen, Robotikern und Unterwasserakustikern verschiedener Universitäten. Der Schwerpunkt des Teams liegt hauptsächlich auf der Dominikanischen Republik in der östlichen Karibik und alle Forschungsergebnisse und Erkenntnisse werden Open Source sein.
Zusätzlich zum oben erwähnten Aussprachealphabet der Pottwale hat das Team zahlreiche weitere Studien zu den Lautäußerungen der Pottwale durchgeführt.
Am 29. August 2019 veröffentlichte CETI in Scientific Reports ein Forschungsergebnis mit dem Titel „Deep Machine Learning Techniques for the Detection and Classification of Sperm Whale Bioacoustics“.Wir demonstrieren die Machbarkeit der Anwendung von Techniken des maschinellen Lernens (ML) auf die Bioakustik von Pottwalen und belegen die Wirksamkeit des Aufbaus neuronaler Netzwerke zum Erlernen aussagekräftiger Darstellungen von Wallauten.
Papieradresse:
https://www.nature.com/articles/s41598-019-48909-4
Am 17. Juni 2022 veröffentlichte CETI in IScience den Artikel „Toward understanding the communication in pottwales“ (Auf dem Weg zum Verständnis der Kommunikation von Pottwalen). Der Schwerpunkt liegt dabei auf den Aufzeichnungs- und Analysemethoden der Kommunikation von Pottwalen, einschließlich der folgenden Schlüsselschritte:
Aufzeichnung: Ein groß angelegter, longitudinaler, multimodaler Datensatz von Kommunikations- und Verhaltensdaten der Wale, der von einer Vielzahl von Sensoren gesammelt wurde;
Verarbeitung: Koordinieren und Verarbeiten von Multisensordaten;
Dekodierung: Mithilfe von Techniken des maschinellen Lernens erstellen wir Modelle der Walkommunikation, charakterisieren ihre Struktur und verknüpfen sie mit dem Verhalten.
Kodieren und wiedergeben: Führen Sie interaktive Wiedergabeexperimente durch und verfeinern Sie das Walsprachenmodell.
Papieradresse:
https://www.sciencedirect.com/science/article/pii/S2589004222006642
4. Dezember 2023CETI nutzte maschinelles Lernen, um Vokale und Diphthonge in Pottwal-Codas zu entdecken und stellte fest, dass beide Codas in verschiedenen traditionellen Coda-Typen vorkommen können..
Am 24. März 2024 entdeckte das Forscherteam, dass Pottwale beim Schwimmen unter Wasser eine Reihe impulsiver, „klickähnlicher“ Klickgeräusche erzeugen, und nannte diese Geräusche „Echoortungsklicks“. Sie stellten außerdem fest, dass in einer lauten Umgebung Echoortungsklicks von Pottwalen zu hören waren.
Da es sich bei Pottwalen um hochintelligente Säugetiere handelt, weist das Sprachsystem des Pottwals nachweislich große Ähnlichkeiten mit dem des Menschen auf. In einer Ära der rasanten Entwicklung der Technologie des maschinellen Lernens beteiligen sich immer mehr Fachleute an dem Forschungsprojekt zur Lautäußerung von Pottwalen. Mit fortschreitender Forschung dürfte der Dialog zwischen Mensch und Wal Realität werden.
Quellen:
1.https://www.projectceti.org/news-research-insights#publications