対照、注目、拡散を用いて脳活動から高解像度画像をデコードする

機能的磁気共鳴画像（fMRI）によって記録された神経応答から視覚刺激を解読することは、認知神経科学と機械学習の興味深い交差点であり、人間の視覚認識の理解と非侵襲的な脳-機械インターフェースの構築に進歩をもたらす可能性があります。しかし、この課題はfMRI信号のノイジーネイチャーと脳の視覚表現の複雑なパターンにより難易度が高まっています。これらの課題を軽減するために、我々は二段階のfMRI表現学習フレームワークを提案します。第一段階では、提案されたダブルコントラスティブマスクオートエンコーダーを使用して、ノイズ除去表現を学習するfMRI特徴学習器を事前学習します。第二段階では、画像オートエンコーダーからのガイダンスを受けながら、視覚再構成に最も有用な神経活性化パターンに注目するように特徴学習器を微調整します。最適化されたfMRI特徴学習器はその後、潜在拡散モデルを条件付けし、脳活動から画像刺激を再構成します。実験結果は、当モデルが高解像度かつ意味的に正確な画像生成において優れていることを示しており、50クラス上位1位の意味分類精度で既存の最先端手法よりも39.34%大幅に上回っています。本研究は解読タスクの可能性に関するさらなる探求を促し、非侵襲的な脳-機械インターフェースの開発に貢献しています。