뇌 활동에서 고해상도 이미지를 디코딩하기 위한 대조, 주의 및 확산 기법

기능 자기 공명 영상(fMRI)으로 기록된 신경 반응에서 시각 자극을 해독하는 것은 인지 신경과학과 기계 학습 사이의 흥미로운 교차점으로, 인간의 시각 인식을 이해하고 비침습적 뇌-기계 인터페이스를 구축하는 데 있어 발전의 가능성을 제시합니다. 그러나 fMRI 신호의 잡음성과 뇌의 복잡한 시각 표현 패턴 때문에 이 작업은 어려움이 따릅니다. 이러한 도전 과제를 완화하기 위해, 우리는 두 단계 fMRI 표현 학습 프레임워크를 소개합니다.첫 번째 단계에서는 제안된 이중 대조 마스크 오토인코더(Double-contrastive Mask Auto-encoder)를 사용하여 잡음 제거 표현을 학습하는 fMRI 특징 학습기를 사전 훈련합니다. 두 번째 단계에서는 이미지 오토인코더의 안내에 따라 시각 재구성에 가장 유용한 신경 활성화 패턴에 주목하도록 특징 학습기를 조정합니다. 최적화된 fMRI 특징 학습기는 이후 잠재 확산 모델(latent diffusion model)을 조건부로 설정하여 뇌 활동에서 이미지 자극을 재구성합니다.실험 결과는 우리의 모델이 고해상도와 의미론적으로 정확한 이미지를 생성하는 데 있어 우수함을 입증하며, 50-way-top-1 의미 분류 정확도에서 이전 최신 방법보다 39.34% 크게 초과한다는 것을 보여줍니다. 우리의 연구는 해독 작업의 잠재력을 더 탐색할 것을 초대하며, 비침습적 뇌-기계 인터페이스 개발에 기여합니다.