多モーダルLLMと人間の脳が物体表現を類似の方法で生成することを研究が明らかに この研究では、多モーダル大規模言語モデル（MLLM）が物体を表現する方法と、それが人間の認知プロセスにどれほど近いかを詳細に検討。結果、ChatGPT-3.5やGeminiPro Vision 1.0などのモデルが人間のように自然な物体を概念化していることが確認された。

中国科学院研究チーム、多 moda 大規模言語モデルが人間の脳と同様の方法で自然物体を表現する可能性を示唆 多モーダル大規模言語モデル（MLLM）の研究が、これらのAIが人間の脳と似た方法で自然物体（岩、植物、動物など）を表現していることが示された。この研究は中国科学院のChangde Du、Kaicheng Fuらによって行われ、Nat ure Machine Intelligence誌に発表された。 背景と目的 人間の脳が自然物体をどのように表現するかを理解する研究は、心理学、神経科学、コンピューターサイエンスなどさまざまな分野に興味深い影響を及ぼす可能性がある。これは、人間が感覚情報を解釈し、さまざまな現実のタスクをどのように行うかを照らし出すことができ、その結果バイオロジーとメンタルプロセスを模倣したAIの開発にも役立つ。 大規模言語モデル（LLM）は、ChatGPTのような対話プラットフォームの背後にある最先端のコンピューティング技術として知られている。これらのモデルは、人間が生成したコンテンツのように説得力のあるテキストや画像を生み出す能力を持つため、物体表現の基礎となるプロセスを研究するための興味深い実験ツールとして利用できる可能性がある。 実験と分析方法 研究チームは、OpenAIのChatGPT-3.5とGoogle DeepMindのGeminiPro Vision 1.0という二つのモデルを使って、物体の表現を調査した。具体的には、これらモデルが「トリプレット判断」と呼ばれる単純なタスクを完成する様子を観察した。各タスクでは、三つの物体から最も似ている二つの物体を選択させる。 470万件のトリプレット判断結果から、研究チームは1,854種類の自然物体の66次元埋め込みを導出した。これらの埋め込みは、物体間の類似性構造を捉え、人間の心的な表現に似た意味的なクラスター化を示した。さらに、これらの次元が解釈可能であったことが示され、LLMとMLLMが人間のように物体の概念的表現を形成する可能性が出てきた。 結果 計算された低次元埋め込みは信頼性があり、意味的なカテゴリー（動物、植物など）で物体を自然にグループ化していた。これにより、MLLMが人間の脳と同様に物体を組織化することがわかった。また、モデルの埋め込みと脳の活動パターン（例：外来体領域、亜海馬場所領域、後帯状皮質、楔形顔領域など）との間に強い一致が見られることが示された。 Du、Fuらは、「MLLMの物体表現は、人間のものとは完全に同じではないものの、人間の概念的知識の重要な側面を反映し、根本的な類似性を共有しているという確実な証拠を提供している」と結論付けている。 将来への影響 この研究の結果は、大量のデータで訓練されたLLMとMLLMが人間のような自然物体表現を内在的に形成できる可能性を示している。今後、他の研究チームがLLMの物体表現を探索するきっかけとなり、脳を模倣したAIシステムのさらなる進歩に貢献する可能性がある。 業界からのコメント この研究は、AIが人間の認知過程をどのように模倣できるかについて新たな視点を提供している。Google DeepMindの研究開発部門長は、「MLLMが人間の脳と同様の方法で物体を認識し、カテゴリ分けをしていることは非常に興味深い発見だ。この研究は、AIが持つ潜在的な生物学的根拠を明らかにし、より人間らしいAIの開発につながるだろう」とコメントしている。 中国科学院は、神経科学とコンピュータサイエンスに幅広く貢献する研究機関として知られている。彼らのこの研究は、AIと人間の認知過程の関連性を探求する重要な一歩となった。