뇌졸중으로 18년간 말을 잃었던 그녀가 AI와 뇌-컴퓨터 인터페이스 덕분에 "생각으로 말하다"

츠바이크는 이렇게 말한 적이 있습니다.사람의 인생에서 가장 큰 행운은 그가 젊고 강했을 때, 인생의 중반에 자신의 사명을 발견하는 것입니다.

그렇다면 인간의 가장 큰 불행은 무엇일까?

내 생각에, 사람의 인생에서 가장 큰 불행은인생의 절정기에 갑자기 말하고 움직이는 모든 능력을 잃는 것보다 더 나쁜 일은 없습니다.——하룻밤 사이에 꿈, 직업, 소원이 모두 무로 돌아갔고, 인생은 뒤집혔습니다.

앤은 불행한 예이다.

30세, 뇌졸중으로 인한 실어증

2005년 어느 날, 항상 건강했던 앤은 갑자기 현기증, 말더듬기, 사지마비, 근육 약화 등의 증상을 보였습니다. 그녀는 진단을 받았습니다뇌간 경색(일상생활에서 '뇌졸중'이라고 부르는 것)좌측 척추동맥 박리 및 기저동맥 폐쇄가 동반됩니다.

이 예상치 못한 뇌졸중은 Ann에게폐쇄 증후군이 질병의 부산물로, 이 질병을 앓는 사람들은 모든 감각과 의식을 가지고 있지만 신체의 어떤 근육도 움직일 수 없습니다. 환자는 스스로 움직이거나 말할 수 없으며, 심지어 숨을 쉴 수 없는 환자도 있습니다.

'잠긴'이라는 단어가 문자 그대로 반영하듯이, 수천 개의 산과 강을 통과하는 평범한 사람들의 몸은 환자의 영혼을 봉인하는 감옥이 되었습니다.

당시 앤은 겨우 30세였고, 결혼한 지 2년 2개월이었으며, 딸아이는 겨우 13개월이었고, 그녀는 캐나다의 한 고등학교에서 수학 교사로 일하고 있었습니다. "하룻밤 사이에 모든 것이 나에게서 사라졌어요." 앤은 나중에 그 장치를 사용하여 이 문장을 컴퓨터에 천천히 입력했습니다.

수년간의 물리 치료 끝에 앤은 숨을 쉬고, 머리를 살짝 움직이고, 눈을 깜빡이고, 몇 마디 말을 할 수 있게 되었지만 그게 전부였습니다.

일상생활에서 평균적인 사람의 말하는 속도는 다음과 같다는 것을 알아야 합니다. 160-200단어/분2007년 애리조나 대학교 심리학과의 한 연구에 따르면 남성들은 평균적으로 15,669 여성들은 평균적으로 이렇게 말한다 16,215 단어(평균적으로 한 단어는 1.5~2개의 중국어 문자에 해당합니다).

언어가 대인간 의사소통의 주요 수단인 세상에서 앤의 제한된 표현력으로 인해 그녀의 많은 요구가 무시되었을 것이라고 상상할 수 있습니다.실어증으로 인해 상실되는 것은 삶의 질뿐만 아니라 성격과 정체성도 상실됩니다.그리고 앤과 같은 상황에 처한 마비 환자와 실어증 환자는 전 세계적으로 몇 명이나 될까요?

18년간 마비되었던 그가 다시 말을 할 수 있게 되다

마비로 인해 말을 잃은 모든 사람이 가장 바라는 것은, 완전하고 자연스럽게 의사소통할 수 있는 능력을 회복하는 것입니다.오늘날 기술이 매우 발달한 세상에서, 기술의 힘을 이용해 환자와의 대인 의사소통 능력을 회복할 수 있는 방법이 있을까요?

가지다!

최근 캘리포니아 대학교 샌프란시스코 캠퍼스와 캘리포니아 대학교 버클리 캠퍼스의 연구팀은AI를 활용한 새로운 뇌-컴퓨터 기술 개발18년 동안 말을 잃었던 앤은 다시 목소리를 되찾았습니다. "말하다", 그리고 생생하게 생성얼굴 표정환자가 정상적인 사회적 상호작용과 동일한 속도와 품질로 실시간으로 다른 사람들과 소통할 수 있도록 돕습니다.

인간 역사상 처음으로 뇌 신호로부터 말과 얼굴 표정이 합성되었습니다!

UC팀의 이전 연구에서는 마비된 사람의 뇌 활동에서 언어를 해독하는 것이 가능하지만, 텍스트 출력의 형태로만 가능하며, 속도와 어휘도 제한적이라는 사실을 보여주었습니다.

이번에 그들은 한 걸음 더 나아가고 싶어합니다.이 기술은 말할 때 필요한 말과 얼굴 움직임을 복구하는 동시에, 어휘가 많은 텍스트 의사소통을 더 빠르게 할 수 있도록 해줍니다.

연구팀은 머신러닝과 뇌-컴퓨터 인터페이스 기술을 기반으로 다음과 같은 결과를 얻었으며, 해당 내용은 2023년 8월 23일 Nature에 게재되었습니다.

► 에 대한텍스트분당 78단어의 속도로 피험자의 뇌 신호를 텍스트로 디코딩하고 평균 단어 오류율은 다음과 같습니다. 25%이는 현재 피험자들이 사용하는 통신기기(1분당 14단어)보다 4배 이상 빠른 속도입니다.

►에 대한음성 오디오, 뇌 신호를 빠르게 합성하여 피험자의 부상 전 목소리와 일치하는 이해하기 쉽고 개인화된 소리로 만듭니다.

►에 대한디지털 얼굴 아바타음성 및 비음성 의사소통 제스처에 대한 가상 얼굴 동작 제어를 실현했습니다.

논문 링크:

https://www.nature.com/articles/s41586-023-06443-4

당신은 호기심이 많을 겁니다.이 획기적인 기적은 어떻게 이루어졌을까?다음으로, 이 논문을 자세히 분석하고 연구자들이 어떻게 바이러스를 다시 살렸는지 살펴보겠습니다.

1. 기본 논리 뇌 신호 → 말 + 얼굴 표정

인간의 뇌는 말초신경과 근육 조직을 통해 정보를 출력하고, 언어 능력은 대뇌 피질에 의해 생성됩니다. "언어 센터"통제됨.

뇌졸중 환자가 실어증을 겪는 이유는 혈액순환이 막히고 산소와 중요한 영양소가 부족해 뇌의 언어영역이 손상돼 하나 이상의 언어소통 메커니즘이 제대로 작동하지 못해 언어기능 장애가 발생하기 때문이다.

이에 캘리포니아 대학교 샌프란시스코 캠퍼스와 버클리 캠퍼스 연구팀은 "다중모달 음성 신경 보철물"대규모, 고밀도 피질 전기뇌파(ECoG)를 사용하여 감각 피질(SMC) 전반에 분포된 음성로에서 표현되는 텍스트와 시청각 음성 출력을 디코딩합니다. 즉, 소스에서 뇌 신호를 포착하고 기술적 수단을 통해 이를 해당 텍스트, 음성 및 얼굴 표정으로 "번역"하는 것입니다.

2. 프로세스 및 구현 뇌-컴퓨터 인터페이스 + AI 알고리즘

첫 번째는 물리적 수단입니다.

연구자들은고밀도 EEG 어레이그리고경피 도킹 커넥터음성 생산 및 음성 인식과 관련된 분야를 포괄합니다.

배열은 다음으로 구성됩니다. 253디스크 모양의 전극은 앤의 혀, 턱, 목, 얼굴 근육으로 전송되는 뇌 신호를 가로채는 데 사용됩니다. 앤의 머리에 부착된 포트에 케이블을 꽂아 전극을 컴퓨터에 연결합니다.

두 번째는 알고리즘 구축입니다.

앤의 독특한 뇌 언어 신호를 식별하려면연구팀은 그녀와 함께 몇 주 동안 작업하여 딥 러닝 모델을 훈련하고 평가했습니다.

연구자들은 nltk 트위터 코퍼스와 코넬 필름 코퍼스를 기반으로 1,024개의 일반적인 문장 세트를 만들고, 앤에게 자연스러운 말하는 속도로 조용히 말하도록 지시했습니다. 그녀는 1,024개의 대화 어휘에서 다양한 문구를 계속해서 반복합니다.컴퓨터가 그 소리와 관련된 뇌 활동 패턴을 인식할 때까지 말입니다.

이 모델은 AI가 전체 단어를 인식하도록 훈련시키지 않는다는 점에 유의해야 합니다.대신, 시스템이 만들어졌습니다.음소에서 단어 디코딩예를 들어, "Hello"에는 "HH", "AH", "L", "OW"의 네 가지 음소가 포함됩니다.

이 방법을 사용하면 컴퓨터는 영어 단어를 해독하는 데 필요한 음소 39개만 배우면 됩니다.정확도가 향상될 뿐만 아니라 속도도 3배 빨라집니다.

참고: 음소는 언어의 가장 작은 음성 단위로, 발음 위치, 발음 방법, 성대 진동을 포함하여 말의 발음 특성을 설명할 수 있습니다. 예를 들어, 'an'의 음소는 /ə/와 /n/으로 구성됩니다.

음소 해독 과정은 아기가 말하는 법을 배우는 과정과 비슷합니다. 발달언어학 분야에서 일반적으로 받아들여지는 견해에 따르면, 신생아는 세계의 다양한 언어를 구별할 수 있습니다. 800 개인음소. 미취학 아동은 단어와 문장의 글자와 의미를 이해하지 못할 수도 있지만, 음소를 인지하고 구별하고 모방함으로써 점차적으로 발음을 배우고 언어를 이해할 수 있습니다.

마지막으로 음성 및 얼굴 표정 합성이 있습니다.

이제 기초가 마련되었고, 다음 단계는 목소리와 얼굴 표정을 보여주는 것입니다.연구자들은음성 합성그리고디지털 아바타이 문제를 해결하려면.

목소리연구진은 앤이 뇌졸중을 겪기 전의 목소리를 녹음한 것을 이용해 합성 음성 알고리즘을 개발했고, 이를 통해 디지털 아바타가 앤과 최대한 비슷하게 들리도록 했습니다.

얼굴 표정앤의 디지털 아바타는 Speech Graphics에서 개발한 소프트웨어를 사용하여 만들어졌으며 화면에 여성 얼굴의 애니메이션으로 나타납니다.

연구자들은 기계 학습 과정을 맞춤화했습니다.앤이 말을 시도할 때 그녀의 뇌가 보내는 신호에 맞춰 소프트웨어를 조정하려면이를 통해 턱이 벌어지고 닫히고, 입술이 튀어나오고 오므라들고, 혀가 위아래로 움직이며, 행복, 슬픔, 놀라움을 표현하는 얼굴 움직임과 제스처를 보여줍니다.

미래 전망

UCSF의 신경외과 과장인 에드워드 창 박사는 "우리의 목표는 완전하고 구체적인 의사소통 방식을 회복하는 것입니다."라고 말했습니다., 이는 우리가 다른 사람과 대화하는 가장 자연스러운 방식입니다. 청각적 음성과 실제 아바타를 결합하는 목표는 단순한 언어 그 이상의 인간 언어 의사소통을 완벽하게 구현하는 것입니다.

연구팀의 다음 단계는 다음과 같습니다.무선 버전 만들기,뇌-컴퓨터 인터페이스의 물리적 연결 제거마비 환자가 이 기술을 사용하여 개인용 휴대전화와 컴퓨터를 자유롭게 제어할 수 있게 되면, 그들의 독립성과 사회적 상호작용에 큰 영향을 미칠 것입니다.

모바일 폰의 음성 지원, 전자 얼굴 스캐닝 결제, 공장의 로봇 팔, 생산 라인의 분류 로봇까지AI는 인간의 사지와 감각을 확장하고 있으며, 점차 우리 생산과 삶의 모든 측면에 침투하고 있습니다.

연구자들은 마비 및 실어증 환자라는 특수 집단에 초점을 맞춰 AI의 힘을 이용해 이들의 자연스러운 의사소통 능력을 회복하도록 돕고 있습니다. 이를 통해 환자와 가족 및 친구 간의 의사소통이 촉진되고 대인 관계 상호작용을 회복할 수 있는 기회가 늘어날 것으로 기대됩니다.그리고 마지막으로환자의 삶의 질이 높음.

우리는 이러한 성과에 매우 기쁘고, AI가 인류에게 어떤 이점을 제공하는지에 대한 더 많은 좋은 소식을 듣기를 기대합니다.

참조 링크:

[1] https://www.sciencedaily.com/releases/2023/08/230823122530.htm

[2] http://mrw.so/6nWwSB