EEG 감정 인식을 위한 4D 주의 기반 신경망

뇌-컴퓨터 인터페이스 분야에서 전기생리신호(EEG) 감정 인식은 중요한 과제입니다. 최근에 많은 딥러닝 방법이 제안되었지만, 여전히 다양한 도메인의 EEG 신호가 포함하는 정보를 충분히 활용하는 것은 어려운 문제입니다. 본 논문에서는 4차원 주의 기반 신경망(4D-aNN, four-dimensional attention-based neural network)이라는 새로운 방법을 제시하여 EEG 감정 인식을 수행합니다. 먼저, 원시 EEG 신호는 4차원 공간-주파수-시간 표현으로 변환됩니다. 그런 다음, 제안된 4D-aNN은 주파수와 공간 주의 메커니즘을 사용하여 뇌의 다른 영역과 주파수 대역에 가중치를 적응적으로 할당하며, 컨벌루션 신경망(CNN)은 4차원 표현의 주파수와 공간 정보를 처리하기 위해 활용됩니다. 또한, 시간 주의 메커니즘이 양방향 장단기 기억(LSTM)에 통합되어 4차원 표현의 시간적 의존성을 탐색합니다. 우리의 모델은 SEED 데이터셋에서 개체 내 분할(intra-subject splitting) 하에서 최고 수준의 성능을 달성하였습니다. 실험 결과는 주파수, 공간 및 시간 도메인에서 주의 메커니즘의 효과성을 입증하였습니다.