MIT/CETI チームは機械学習を使用してマッコウクジラの表音文字を分離しました。人間の言語システムに非常に似ており、より強力な情報伝達能力を持っています。
海洋生態学の研究において、生物音響学は人々が海洋の生物学的情報を入手する重要な方法です。名前が示すように、生物音響学は主に動物の鳴き声の生成、送信、受信を研究します。テクノロジーの発展により、研究者は動物の鳴き声を解読することで、動物の種、性別、個体識別、健康状態を理解できるようになりました。
しかし、個体群モニタリングのための従来の生物音響学では、フィールド記録の処理と分析に多くの人手が必要であり、時間とコストがかかります。 音声認識における AI の画期的な進歩は、この課題に対する理想的な解決策を提供します。機械学習は、自動処理機能と自己学習機能により、生物音響学の分野ですでに大きな進歩を遂げています。
現在、海洋生物の鳴き声の機械学習分析は、成熟したアプリケーションを実現しています。海洋生物の中でも、クジラやイルカなどの鯨類は、複雑な社会的・協調的行動特性を有しており、人間社会と非常に類似しており、研究価値が極めて高い。
中でもマッコウクジラは、その言語体系が人間社会と非常に似ていることから研究の対象となっている。
高度に社会的な哺乳類であるマッコウクジラは家族で生活し、複雑な社会構造を持っています。グループで意思決定を行うために、ほとんどの場合、継続的に「カチッ」という音を鳴らして通信します。通信時間は 10 秒程度の場合もあれば、30 分以上続く場合もあります。彼らの通信システムは単純に見えますが、一連の複雑な協調動作を実現することができ、この 2 つの間の対照は研究者が解決したい「パズル」となっています。これまでの多数の研究でマッコウクジラの鳴き声の複雑さは実証されてきたが、マッコウクジラの尾の具体的な特徴や構造はまだ不明である。
これに応えて、MIT Pratyusha Sharma と CETI の研究者は、機械学習を使用してマッコウクジラの記録を分析しました。マッコウクジラが発する音は構造的であり、異なる特徴の組み合わせによって形成されていることが確認され、マッコウクジラの発音アルファベットも機械学習技術によって分離され、その言語表現システムは人間と非常に類似しており、より強力な情報伝達能力。
関連する研究は「マッコウクジラの発声における文脈的および組み合わせ的構造」と題され、Nature Communications に掲載された。
研究のハイライト:
*この研究は、現在最大のマッコウクジラデータベースであるドミニカマッコウクジラプロジェクト（DSWP）のデータを使用して、東カリブ海マッコウクジラ族の約60頭の異なるマッコウクジラの尾記録8,719件を分析し、「マッコウクジラの発音アルファベット」を定義しました。 」
* マッコウクジラの言語は組み合わせ構造を持っています。つまり、異なる「クリック音」とリズムを組み合わせて調整して、複雑な発声を作成でき、人間の言語に非常に似ています。
用紙のアドレス:
https://www.nature.com/articles/s41467-024-47221-8
オープンソース プロジェクト「awesome-ai4s」は、100 を超える AI4S 論文の解釈をまとめ、大規模なデータ セットとツールを提供します。
https://github.com/hyperai/awesome-ai4s
データセット: 大量のデータと長い期間
この研究で使用されたデータセットは、現在最大のマッコウクジラ データ リポジトリであるドミニカ マッコウクジラ プロジェクト (DSWP) からのものです。研究者らは分析にあたり、東カリブ海マッコウクジラ族（EC-1）の60頭の異なるマッコウクジラの記録を使用し、これには合計8,719尾の尾データが含まれていた。
このデータセットには、2005 年から 2018 年までのさまざまなプラットフォームや記録システムから手動で注釈が付けられた尾部データが含まれているだけでなく、2014 年から 2018 年までにマッコウクジラに吸着されたセンサー (DTag) から記録されたデータも含まれていることは言及する価値があります。
マッコウクジラの尾にはさまざまな特徴が豊富に組み合わされている
コミュニケーション中のマッコウクジラの尾の変化と長期的な傾向を明確に観察するために、研究者らは視覚化を使用してこれらの音を説明しました。以下の図に示すように: 図 A は、DSWP データ セットで 2 分間に通信する 2 頭のクジラのコーダを示しています。クジラが発するコーダは、それぞれ青とオレンジで表されます。
次に、研究者らはこれらの尾を時間対時間プロットに投影し、マッコウクジラの尾の変化を 2 分間観察しました。図BとCに示すように、横軸はマッコウクジラのコミュニケーション開始からの経過時間を表し、縦軸はエピローグの開始からの時間を表しています。図 C では、研究者らはまた、隣接するコーダ間で一致するクリックを接続しました。コミュニケーション中、コーダの長さが滑らかに変化し、追加のクリック音が発生することがわかり、コーダの構造における複雑な状況変化が明らかになり、マッコウクジラがこれまでの研究で報告されているよりも優れた情報伝達能力を持っていることが示されています。 。
以前は、マッコウクジラの尾音は 21 種類あると考えられていました。この研究は次のことを示しています。さまざまなコーダ タイプは、2 つの文脈に依存しない特徴 (テンポとリズム) と 2 つの文脈に依存する特徴 (ルバートと装飾) で構成されます。
下図に示すように、研究者は、持続時間内で限られたパターンで分布する尾音の特徴をリズム（テンポ）と名付けました。このうち、左の図はマッコウクジラの尾音の持続時間がクリック間隔の合計であることを示し、右の図はさまざまなリズムタイプの尾音の変化を示しています。
図Bでは、研究者らはICIベクトルを総継続時間で正規化し、継続時間に依存しないコーダ表現を取得し、これを「リズム」と名付けました。
図Cでは、研究者らはマッコウクジラが連続する尾の持続時間をゆっくりと調整していることを「ルバート」と呼び、震えが緩やかであること、つまりマッコウクジラのコミュニケーションにおける隣接する尾は同じ種類の尾よりも長いことを指摘している。他の場所ではコーダの長さが短くなります。
図Dでは、研究者はマッコウクジラの尾の最後のクリックを装飾として定義しています。猶予期間はランダムに分散されるのではなく、より長い通信内の特定の場所で発生します。
この研究では、(1) 1 頭のクジラの鳴き声シーケンスでは、装飾音シーケンスが鳴き声シーケンスの先頭に現れる割合が、装飾音のないシーケンスよりも大幅に高い、(2) 装飾音シーケンスが鳴き声シーケンスの最初に現れることが判明しました。呼び出しシーケンスの終わり 出現の割合も、装飾のないシーケンスよりも大幅に高くなります。
研究者らは、これら4つの特徴はすべて、音声コミュニケーションに参加するクジラによって感知され、それに基づいて行動することができるため、クジラのコミュニケーションシステムの意識的な部分を形成していると指摘している。リズム、リズム、トリル、装飾音符を自由に組み合わせることができるため、クジラは多数の区別可能なコーダを体系的に合成することができます。
研究結果：マッコウクジラの発音アルファベットは人間の言語ライブラリと非常によく似ている
上記の視覚的分析を通じて、研究者らは機械学習手法を使用して、人間の言語ライブラリと非常によく似たマッコウクジラの発音アルファベットを分離しました。以下に示すように:
横軸はコーダのリズム タイプを表し、縦軸はコーダ リズムのタイプを表し、各セルの色は、DSWP データ セット内でこのリズム/韻の組み合わせが出現する回数を表します。各セルの円グラフは、特徴の組み合わせごとに、コーダでトリルとグレースがどの程度組み合わせて使用されているかに関する情報を提供します。左側の円グラフは、トリルのあるコーダとトリルのないコーダの割合を示し、右側は、横の円グラフは、その機能の組み合わせで発生するすべての装飾音符の割合を示します。
研究者らは次のように述べています: すべてのコーダの特徴が組み合わされているわけではありませんが、しかし、マッコウクジラの尾の豊富な組み合わせ構造には離散パラメータと連続パラメータの両方があり、少なくとも 143 の組み合わせが尾で頻繁に発生し、これまでに特定された 21 種類の離散尾タイプをはるかに上回っています。
プロジェクト CETI: 機械学習を使用して異種間の対話を実現することに尽力
今回MITと協力しているCETI組織は、マッコウクジラの尾の研究においてより高い発言権を持っている。 CETI は、高度な機械学習とロボット技術を応用してマッコウクジラの通信を聞き、翻訳する非営利団体です。この組織は、マッコウクジラのコミュニケーション システムを理解して翻訳することで、マッコウクジラの個体数を効果的に保護することを目的として 2020 年に設立されました。
CETI チームは、さまざまな大学の人工知能と自然言語処理の世界有数の専門家、暗号学者、言語学者、海洋生物学者、ロボット工学の専門家、水中音響学者で構成されており、チームの重点分野は主に東カリブ海のドミニカ海沿いです。研究と発見はオープンソースになります。
上で述べたマッコウクジラの発音アルファベットに加えて、研究チームはマッコウクジラの発声に関する他の多くの研究を行っています。
2019年8月29日、CETIは「マッコウクジラの生体音響の検出と分類のための深層機械学習技術」と題する研究結果をScientific Reportsに発表した。機械学習（ML）技術をマッコウクジラの生物音響に適用する実現可能性を実証し、クジラの鳴き声の意味のある表現を学習するためのニューラルネットワークの構築の有効性を確立しました。
用紙のアドレス:
https://www.nature.com/articles/s41598-019-48909-4
2022 年 6 月 17 日、CETI は、以下の重要なステップを含むマッコウクジラのコミュニケーションの記録と分析方法に焦点を当てた「マッコウクジラのコミュニケーションの理解に向けて」を IScience に発表しました。
記録: さまざまなセンサーから収集されたクジラのコミュニケーションおよび行動データの大規模な縦断マルチモーダル データセット。
処理: マルチセンサーデータを調整して処理します。
デコード: 機械学習技術を使用して、クジラのコミュニケーションのモデルを作成し、その構造を特徴付け、行動に関連付けます。
エンコードと再生: インタラクティブな再生を試して、クジラの言語モデルを改良します。
用紙のアドレス:
https://www.sciencedirect.com/science/article/pii/S2589004222006642
2023 年 12 月 4 日CETI は機械学習テクノロジーを使用して、マッコウクジラのコーダに母音と二重母音が存在すること、および両方のコーダが異なる伝統的なコーダ タイプに現れる可能性があることを発見しました。。
2024年3月24日、チームの研究者らは、マッコウクジラが水中を航行するときに一連の衝動的な「クリック」のようなクリック音を発することを発見し、これを反響定位クリック音と名付けた。この音はマッコウクジラの存在に影響を与えるものである。エコーロケーションのクリック音。
高度に発達した知能を持つ哺乳類であるマッコウクジラの言語システムは、人間の言語システムと非常に似ていることが証明されています。機械学習技術が急速に発展する時代において、マッコウクジラの鳴き声研究プロジェクトに参加する専門家がますます増えており、研究が深化するにつれ、人間とクジラの対話が現実のものになることが期待されています。
参考文献:
1.https://www.projectceti.org/news-research-insights#publications