中国科学院の深セン先進技術研究所は、数回の学習フレームワークに基づいて動物の社会行動を分析するための SBeA を提案しました。

鳥は翼を広げ、オオカミはアルファオオカミをサポートし、ペンギンは一緒に子孫を育てます...動物の社会的行動の背後にある意味は何ですか？生殖、捕食、防御、社会階層の確立の進行は、人類進化の段階的なプロセスを明らかにしているのでしょうか?

これらの問題の研究は動物の社会的行動として知られており、行動の正確な定量化、特定、分類は、相互作用における脳機能と精神障害の役割を明らかにするのに役立ちます。同時に、動物の社会行動研究モデルは、自閉症、うつ病、社会不安障害などの病気の非常に一般的な症状である人間の社会障害の研究においても重要な役割を果たしています。

これまで、動物の社会的行動の研究と理解は、データの注釈が不十分だったため制限されていました。複数動物の DeepLabCut、SLEAP、AlphaTracker などの深層学習テクノロジーは、データ アノテーション用の強力なツールを提供しますが、実験シナリオでの応用は、高品質のベンチマーク データセットが利用できるかどうかによって制限されます。既存の複数動物の姿勢推定データセットは、広範囲の社会行動テスト モデルをカバーできないことがよくあります。異なる種や異なる環境での行動が完全に説明できない可能性があるため、これにより研究の幅と深さが制限されます。

動物行動研究では、技術革新による研究の効率と精度の向上が急務となっています。これに基づいて、SBeA (Social Behavior Atlas) は、中国科学院の深センハイテク研究所によって開発され、自由生活動物の行動を包括的に定量化し、より少ない数のラベル付きフレーム (約 400 フレーム) を使用できます。 ) 双方向の転移学習戦略を通じて複数の動物の三次元姿勢を推定することで、複数の動物の識別精度が 90% を超えました。関連する結果は Nature に掲載されました。

論文リンク:

https://www.nature.com/articles/s42256-023-00776-5 公開アカウントをフォローし、「SBeA」に返信して完全な論文を入手してください

SBeA の 2 つの主要な構造: 姿勢追跡と動作マッピング

自由に社会的な動物の行動を完全に定量化するには、 SBeA の主な仕事は、姿勢追跡 (3D 姿勢追跡) と行動マッピング (社会的行動マッピング) です。

3D ポーズ追跡: 複数の動物の社会的行動とアイデンティティ認識

3D 姿勢追跡プロセスを上の図に示します。

まず、2 匹のマウスの自由な社会的行動のビデオがカメラ アレイを通じて収集されました。このプロセスは 2 つの段階に分けられました。第 1 フェーズでは、マウス間の自由な社会的相互作用をキャプチャすることに焦点を当てましたが、第 2 フェーズでは、チェッカーボード画像を使用して調整されたビデオ取得プロセスを使用して、これらの相互作用における各マウスの身元を特定して記録することを目的としていました。

次に、収集された複数の動物の輪郭と単一の動物の姿勢に詳細な注釈が付けられ、分析のために多段階の人工ニューラル ネットワークに入力されます。出力結果は図 d に示されており、3 つの部分に分かれています。

* AIが出力するビデオ例、複数の動物のポーズと複数の動物の識別情報; 

* カメラのキャリブレーションパラメータと組み合わせたビデオ、姿勢、アイデンティティ情報の 3 次元再構成。

* アイデンティティ情報を含む 3 次元ポーズの視覚的表示。

行動マッピング: 時間と空間の低次元表現

社会的行動マッピングのプロセスを上の図に示します。

平行動的分解 (Parallel Dynamic decomposition) 2 匹のマウスの元の 3 次元運動軌跡 (Raw 3D trajectory) を、移動運動 (歩く、走る、ジャンプする、這うなどの物理的な動き)、非運動運動 (空間内で体の位置を変える動作全体（尾を振る、耳をぴくぴく動かす、または体の姿勢の変化など）、体の距離（2 匹以上の動物の間の物理的な距離）は含まれません。

社会的行動モジュール内の特徴の分布を深く理解するために、抽出された 3 つの軌跡特徴は、SBeA に低次元の距離特徴を埋め込むことによって空間的および時間的表現に変換されます (図 f 左)。時間レベルは社会的行動グラフ (図 f の右側) で表されます。

SBeA のトレーニング: 双方向転移学習と教師なし学習

双方向転移学習: ラベル付けを行わない複数動物の識別

動物の自由な社会的行動では、同じ種の動物が遮られることが多く、その結果、手動によるアノテーションの識別が不正確になります。この課題に対処するために、研究者らは、SBeA で双方向転移学習を使用することを提案しました (以下の図 a)。トレーニング済みの複数動物のセグメンテーション モデルは単一動物のビデオに移行でき、トレーニング済みの単一動物識別モデルも複数動物の識別に移行できるため、動物の ID を手動でラベル付けする作業負荷が大幅に軽減されます。

双方向転移学習を使用したトレーニング方法には次のようなものがあります。

*  セグメンテーション モデルの再利用 (図 b): カメラ アレイを使用して動物のビデオ ストリームをキャプチャし、トレーニング済みの VisTR (トランスフォーマーを備えた VIS) モデルを使用して単一の動物のビデオ インスタンスをセグメント化し、複数の角度からデータを取得します。 

*  単一動物識別モデルのトレーニング (図 c): データをトリミング、連結、サイズ変更し、EfficientNet をバックボーンとして使用して、複数の動物の識別モデルをトレーニングします。

*  複数動物のセグメンテーションと 3D 再投影 (図 d): 各カメラ ビューからマスクを再投影し、複数動物識別モデルへの入力として画像をトリミング、連結、およびサイズ変更します。

*  ID 認識モデルの再利用 (図 e): トレーニングされた単一動物識別モデルを複数動物識別で再利用します。

このプロセスには、複雑な画像処理とデータ変換が含まれ、さまざまな視点や状況から有効な情報を抽出し、最終的に動物のアイデンティティと 3D 姿勢の視覚化結果を予測します。

SBeAの識別性能を評価するために、研究者らは上記のマウスの自由な社会行動を記録し、マスク再投影画像と3Dポーズをフレームごとに手動で検証した結果、一部の単一マウスの識別精度は低いことが示されました。比較的低い、Low ですが、マウスのペアを識別する全体的な精度は 0.85 よりも高くなる可能性があります。

教師なし学習: 社会的行動の構造を明らかにする

教師なし学習のアプリケーションでは、アルゴリズムは事前にラベル付けされたデータや分類されたデータに依存せず、データから直接パターンと関係を発見しようとします。

この研究では、図に示すように、教師なし学習では、動的タイム アライメント カーネル (DTAK) を使用して行動の動的構造を分解し、論理加算を使用して分解時点をマージして、連続的な姿勢軌跡を離散的な社会的行動モジュールに変換します。下に。

PAIR-R24M データセットを使用して SBeA の教師付き検証が実行され、その結果は次のことを示しました。この研究では、社会的行動モジュールのクラスタリング パフォーマンスの定量化に成功し、SBeA は社会的行動を効果的に分類できます。

SBeA: 精度 + 多用途性

SBeA の精度: Shank3B ノックアウトマウスの行動研究

SbeAが社会的行動の違いを遺伝子レベルで検出できるかどうかを調べるために、研究者らはマウスを使って実験を行った。 Shank3B遺伝子をノックアウトされたマウスは、個別の自閉的行動を示しますが、既存の技術の限界により、彼らの異常な自由な社会的行動を完全に理解することは困難です。研究チームはSBeA解析を通じて、遺伝子ノックアウトマウス（Shank3Bノックアウト、KO）と正常マウス（野生型、WT）の間には社会的行動に大きな違いがあることを発見した。

実験マウスには KO-KO、WT-WT、WT-KO の 3 つのグループがあります。結果は以下の図に示されています。WT-WT グループはより柔軟な社会的行動を示し、KO-KO グループは WT-WT グループよりも異常な社会的行動を示し、WT-KO グループは WT よりも緊密な社会的相互作用を示します。 -WTグループ。

SBeA は、KO マウスと WT マウスを区別する微妙な社会的行動モジュールを特定するためにも使用されました。クラスター分析を通じて、これらのモジュールは、しゃがむ、探索的行動、仲間の匂いを嗅ぐ、独立したグルーミングなどを含む 9 つの主要な社会的行動に統合されました。

3 つのグループの社会的行動は次のとおりです。

WT-WT グループ (緑色) は、向社会性 (prosocial) を反映して、より同種異系 (同種グルーミング) 行動と探索 (探検) 行動を示しました。

KO-KO グループ (オレンジ色) は、より異常な社会的行動、低い運動能力、および社会的新規性を示しました。これらの異常な行動は、反社会的行動の症状である可能性があります。

WT-KO グループ (紫色) で観察された社会的行動は、主に仲間同士の匂いを嗅ぐことと独立したグルーミングでした。仲間の匂いを嗅ぐことは好奇心旺盛な WT マウスでより一般的であり、独立したグルーミングは KO マウスが WT マウスに対して模倣する行動である可能性があります。

この結果は、SBeA が遺伝的に変異した動物の社会的行動を区別できるだけでなく、遺伝子変異に関連する微妙な社会的行動モジュールも識別できることを示しています。

SBeA の多用途性: さまざまな種や環境での分析

さまざまな動物種や実験環境におけるSBeAの一般化可能性を評価するために、研究チームは鳥と犬を使った研究を実施した。

SBeA テストの難易度を高めるために、実験における動物の外観は可能な限り類似しました。この研究では、鳥と犬のデータを社会行動マップにマッピングし、鳥と犬にそれぞれ対応する 34 と 15 の社会行動カテゴリーを特定し (図 c と g)、それらの典型的なケースを 3D で視覚化しました (図 d、h)。

その結果、SBeAの鳥の3D姿勢追跡は尾羽に触れる足の動きを識別でき、犬の3D姿勢追跡は横たわった姿勢などのオクルージョン状況に対処できることが示された。

SBeA の利点: 数回の学習フレームワーク

2021年、深セン高等研究所の魏鵬飛氏のチームは、独自に開発した行動収集装置を使用して動物の三次元運動姿勢を取得し、言語に似た動物行動の階層構造に基づいた階層的動物行動を提案した。モデルは、継続的で複雑な動作を人々が理解できるアクション モジュールに単純化します。本研究では、自閉症モデルマウスの行動識別を実施し、特徴的な行動異常を1秒未満のレベルで自動かつ正確に識別することに成功しました。

この記事のSBeAアーキテクチャは、動物の社会行動を分類するために2021年に提案された普遍的な動物の3次元行動マップフレームワークである「Behavior Atlas」をさらに拡張したものです。

SBeA が使用する少数ショット学習フレームワークでは、複数動物の 3D 姿勢推定に比較的少数の手動でラベル付けされたフレームのみが必要で、ラベルフリーのアイデンティティ認識が可能になり、社会的行動の分類に教師なし学習を適用できます。このようなデータ生成戦略は、大規模で広範囲にラベル付けされたデータセットへの依存を軽減し、大量のラベル付けされていないデータに適用できます。

転移学習 (大規模なデータセットで事前トレーニングされたモデルを活用し、特定のタスクに合わせて小規模なデータセットに適合するように微調整する)、データ拡張 (トリミング、回転、色調整などのテクニック) を通じて、既存のデータから新しいデータを生成します。 フューショット学習フレームワーク、トレーニングデータセットのサイズを増やすなど、強力な可能性があり、人工知能研究においてますます人気が高まっています。

参考文献:
1.https://www.nature.com/articles/s42256-023-00776-5
2.https://www.siat.ac.cn/kyjz2016/202401/t20240109_6952837.html