Nature 표지 기사 공동 저자와 운동 연구 스토리에 대한 대화

10월 17일, "알파고부터 뇌와 유사한 천지칩까지, 인공지능은 어디로 향하는가?" 청화대학교 과학기술협회 스파크 포럼, 청화대학교 뇌유사컴퓨팅 연구센터, HyperAI가 공동으로 주최한 이번 행사가 청화대학교 멍민웨이 빌딩에서 성공적으로 개최되었습니다. 개막 원탁 토론회에서 청화대 최초의 뇌 유사 박사 학위자인 덩레이는 뇌 유사 컴퓨팅에 대한 자신의 여정을 이야기하고, 뇌 유사 컴퓨팅을 다양한 관점에서 해석하고, 학생들의 질문에 답하고, 뇌 유사 컴퓨팅과 인공지능의 발전에 대한 새로운 이해를 제공했습니다.

덩레이는 청화대학교 최초의 뇌 기반 컴퓨팅 분야 박사 학위 소지자이며, 캘리포니아대학교 산타바바라 캠퍼스의 박사후 연구원입니다. 8월 1일자 Nature 잡지 표지에는 다음 기사가 실려 있습니다.인공 일반 지능을 위한 이기종 Tianjic 칩 아키텍처첫 번째 저자인 는 칩 설계와 알고리즘 세부 사항에 대한 책임을 맡았습니다.

지난 목요일, 청화대학교 과학기술협회 스파크 포럼은 청화대학교 뇌모사 컴퓨팅 연구센터와 HyperAI와 협력하여 "알파고에서 뇌모사 천지칩까지, 인공지능은 어디로 향하는가?"라는 주제로 포럼을 개최했습니다. 덩레이는 특별 게스트로 초대되어 원탁 포럼 형식으로 자신의 견해를 공유했습니다. 이 글에서는 포럼에서 나온 질문을 따르고 AI와 뇌 유사 컴퓨팅 분야에 대한 그의 통찰력을 살펴보겠습니다.

학습과 탐구: 뇌에서 영감을 받은 컴퓨팅 센터의 첫 번째 박사 과정 학생

질문: 어떻게 해서 뇌 유사 컴퓨팅 연구 분야에 관심을 갖게 되셨나요? 이 과목은 정확히 무엇을 다루는 건가요?제가 뇌 유사 컴퓨팅 분야로 박사학위를 공부하던 당시에는 아직 대중적이지 않았습니다. 당시에 검색해 보았지만, 별로 유용한 정보는 찾지 못했습니다. 나중에 저는 제 상사에게 구체적으로 물었습니다... 

뇌-유사 컴퓨팅 연구 센터의 첫 번째 박사과정 학생으로서, 저는 그 센터가 오늘날의 모습까지 처음부터 끝까지 발전하는 모습을 지켜보았습니다.나중에 회사를 설립하고 연구를 하는 것도 포함됩니다. 2017년 이후에 졸업하고 미국으로 건너가서 컴퓨터 과학으로 전공을 바꾸었습니다. 이제 이론상으로는 50%가 있고 칩상으로는 50%가 있습니다. 

저는 학부 때 기계학을 전공했지만, 나중에 기계 분야에 재능이 없다는 것을 깨닫고 점차 악기 제작 쪽으로 전공을 바꾸었습니다. 나중에는 로봇도 만들었고, 일부 소재와 마이크로 전자공학을 공부했습니다. 그 후, 저는 AI의 알고리즘과 이론을 연구하기 시작했고, 마침내 칩으로 옮겨가 천천히 뇌 유사 컴퓨팅 분야에 들어섰습니다.그 과정은 아마도 이렇습니다. 계속해서 전진하고, 그 과정에서 계속해서 배우는 것이죠.

참고: 청화대학교 뇌모사 컴퓨팅 연구 센터는 2014년 9월에 설립되었으며 기본 이론, 뇌모사 칩, 소프트웨어, 시스템 및 응용 프로그램을 포함한 여러 수준을 포괄합니다. 이 센터는 청화대학교 내 7개 학부와 학과가 공동으로 설립하였으며, 뇌과학, 전자공학, 마이크로전자공학, 컴퓨터, 자동화, 재료, 정밀기기 등의 학문을 통합하고 있습니다.

뇌와 유사한 컴퓨팅에 대한 연구는 다양한 학문 분야의 교차 통합을 포함합니다.출처는 확실히의학(뇌과학)오늘날의 인공지능은 원래 심리학과 의학에서 파생되었으며, 이는 모델의 기초를 제공했습니다.

  다음은기계 학습이 두 가지는 앞으로 반드시 하나로 합쳐질 것이지만, 지금은 별도로 논의합니다. 머신 러닝은 제품 개발 분야에서 더 많은 경험을 가지고 있고 일반적으로 응용 프로그램 관점에서 생각되기 때문입니다. 

게다가컴퓨터 과학이제 GPU로는 해결할 수 없는 문제가 생겨서 알리바바와 화웨이는 자체 전용 칩을 만들기 시작했습니다. 컴퓨팅 아키텍처를 전공하는 학생들도 이 방향으로 발전하는 것을 고려할 수 있습니다. 

더 아래에는칩 및 기타 하드웨어여기에는 마이크로 전자공학과 심지어 재료까지 포함되는데, 새로운 장치를 제공해야 하기 때문입니다. 지금도 우리는 아주 기본적인 저장 장치를 사용하고 있지만, 탄소나노튜브, 그래핀 등 응용 가능한 다른 소재와 같이 미래에는 확실히 새로운 장치가 나올 것입니다. 

게다가자동화 방향머신 러닝을 하는 사람 중 다수는 일반적으로 컴퓨터 과학 및 자동화 부서 출신입니다. 자동화는 제어와 최적화에 관한 것인데, 이는 머신 러닝과 유사합니다. 뇌와 유사한 컴퓨팅에서는 이러한 학문들이 잘 통합되어 있습니다.

  질문: 이 방향을 선택하게 된 원동력이나 기회는 무엇이었나요? 

한마디로,이 방향의 가장 큰 매력은 결코 완성되지 않는다는 것입니다. 

저는 한때 철학적 역설에 대해 생각해 보았습니다. 뇌와 유사한 컴퓨팅에 대한 연구는 인간의 뇌와 분리될 수 없지만, 인간의 뇌를 사용하여 인간의 뇌에 대해 생각한다면, 우리가 어느 정도까지 도달할 수 있을지 알 수 없고, 뇌에 대한 연구는 결코 끝나지 않을 것입니다. 왜냐하면 인간의 자기에 대한 생각은 항상 존재할 것이기 때문이다. 항상 정점을 경험한 후, 침체기에 접어들고, 갑자기 돌파구가 생길 것입니다. 그것은 결코 멈추지 않을 것이다. 이런 관점은 연구할 가치가 있다.

질문: 현재 박사후 연구 기간 동안 당신의 연구에 어떤 차이점이 있나요? 

제가 청화대학교에서 칩을 연구할 당시에는 실용적인 측면에 더 관심이 많았고, 장치나 기기를 만들 수 있을 거라고 생각했습니다. 하지만 미국에 가서 저는 이 문제를 학문적 관점에서 더 많이 생각하게 되었습니다. 예를 들어 컴퓨팅 전공자의 컴퓨팅 아키텍처나 많은 ACM 튜링상 수상식 등에서 이 문제를 이런 관점에서 살펴보았습니다. 똑같은 일을 하고 있지만, 생각하는 각도가 다릅니다.

컴퓨팅 아키텍처의 관점에서 보면,모든 칩은 컴퓨팅 장치, 저장 장치, 통신 장치라는 세 부분으로 구성됩니다.무엇을 하든 이 세 가지의 범위에 속합니다. 

천지 칩과 뇌 유사 컴퓨팅: 자전거가 초점이 아니다

질문: 네이처에 실린 이 기사는 중요한 사건입니다. 지난 수십 년 동안 어떤 이정표가 있었다고 생각하시나요? 뇌 유사 컴퓨팅 분야에서는 어떤 사건들이 산업 발전을 촉진시켰나요?

  뇌와 유사한 컴퓨팅 분야는 비교적 복잡하다. 인공지능의 맥락에서 정리해보면 더 명확해질 것 같습니다. 인공지능은 단일한 학문 분야가 아니며 기본적으로 네 가지 방향으로 나눌 수 있습니다.

첫 번째는 알고리즘, 두 번째는 데이터, 세 번째는 컴퓨팅 능력, 마지막은 프로그래밍 도구입니다.중요한 사건은 이 네 가지 관점에서 볼 수 있습니다. 

알고리즘 측면에서 보면, 물론 딥 뉴럴 네트워크입니다. 의심의 여지가 없습니다. 데이터 관점에서 볼 때 ImagNet은 이정표입니다. 빅데이터의 지원 없이는 딥 뉴럴 네트워크는 거의 묻힐 뻔했습니다. 컴퓨팅 능력의 관점에서 볼 때 GPU는 훌륭한 탄생입니다. Google의 TensorFlow와 같은 인기 있는 애플리케이션과 같은 프로그래밍 도구는 개발을 촉진하는 중요한 요소입니다. 

이러한 것들은 AI의 발전을 촉진하며, 반복적인 개발 과정입니다. 이들 중 어느 것도 없었다면 우리는 지금과 같은 상황을 갖지 못했을 것입니다. 하지만 AI에도 한계는 있습니다. 예를 들어, 알파고는 단일 작업만 수행할 수 있으며 체스를 두는 것 외에는 다른 일을 할 수 없습니다. 이것은 뇌와 다릅니다. 

두 번째는 해석 가능성입니다. 우리는 강화 학습을 포함한 피팅을 위해 딥 신경망을 사용하지만, 그 내부에서 무슨 일이 일어나는지는 아직 불분명합니다. 어떤 사람들은 이 과정을 시각화하거나 그 원리를 알아내려고 노력하고 있습니다. 

세 번째는 견고성입니다. AI는 인간만큼 안정적이지 않습니다. 예를 들어, 자율주행의 경우, 현재 AI는 운전자 보조에만 활용되고 있습니다. 절대적인 안전을 보장할 수 없기 때문입니다. 이러한 단점 때문에 우리는 뇌과학의 발전에 주의를 기울여야 하며, 더 많은 뇌과학적 메커니즘을 도입해야 합니다.제 생각에 가장 시급한 일은 지능을 더 보편화하는 것입니다.

중요한 사건으로는 알파고가 있습니다. 강화 학습은 AI를 대중의 이목을 끌게 하고 모든 사람이 AI에 주목하게 했으며, 그 이후에야 인기를 얻었습니다. 칩의 관점에서 보면, 알고리즘에 초점을 맞춘 칩과 생물학적 뇌에서 영감을 받은 칩, 두 가지 유형이 있습니다. 이 두 가지 유형의 칩 개발에는 두 가지 이정표가 있습니다.

첫 번째 범주는 머신러닝입니다. 딥 신경망은 이제 GPU에서 계산되지만 GPU가 가장 효율적인 것은 아닙니다. Cambrian과 같은 회사 그룹은 GPU를 대체할 솔루션을 찾고 있습니다. 이것은 중요한 사건입니다.
다른 범주는 머신 러닝에만 국한되지 않습니다. 뇌의 관점에서 모델을 찾아 전용 칩을 만드는 것입니다. 이 점에서는 IBM이나 Intel이 더 나은 성과를 보이고 있습니다. 

천지칩이 이렇게 많은 주목을 받는 이유는 두 범주의 각각의 장점을 하나의 아키텍처로 통합했기 때문입니다.

질문: 귀하의 팀은 자전거에 Tianji 칩을 장착하는 테스트를 발표했습니다. 이에 대해 더 자세히 설명해 주실 수 있나요? 

인터넷상의 모든 사람들은 자전거에 관심을 가졌지만, 우리 팀은 자전거가 우리의 관심사가 아니라는 것을 알고 있었습니다. 그것은 단지 데모 플랫폼이었습니다. 그 당시 우리는 모든 사람에게 보여줄 수 있는 좋은 플랫폼을 찾고 있었거든요.

자전거 시연에는 시각, 청각, 동작 제어가 포함됩니다. 이러한 기능을 하나의 칩으로 완성하는 것은 이상적인 플랫폼입니다. 당시 우리는 이런 관점에서 생각하고 있었습니다. 자전거 조종은 그리 어렵지 않습니다. 우리는 단지 새로운 모델을 보여주고 싶었을 뿐입니다.

뇌와 유사한 컴퓨팅의 미래: 폰 노이만 구조의 붕괴

질문: 미래의 인공지능 또는 뇌와 유사한 컴퓨팅과 기존의 폰 노이만 구조는 어떤 관련이 있나요? 그들은 인간의 뇌 모양으로 진화할까? 

이것은 매우 중요한 문제입니다. 현재 반도체 산업에는 2018년 튜링상이 컴퓨팅 아키텍처 연구를 하는 연구자들에게 수여되는 등 기본적인 추세가 있습니다. GPU의 성능을 향상시키는 데는 두 가지 방향이 있습니다. 첫 번째는 트랜지스터를 더 작게 만드는 것, 즉 무어의 법칙에 따라 물리적으로 소형화하는 것입니다. 하지만 지난 2년 동안 무어의 법칙이 실패하기 시작했고, 관련 개발 속도가 점점 더 느려지고 있으며, 언젠가는 더 이상 더 작게 만들 수 없게 될 것이라는 사실을 모두가 깨달았습니다.

또 다른 방향은 컴퓨팅 아키텍처를 개발하고 프레임워크 설계를 통해 컴퓨팅 장치, 저장 장치, 통신이 모두 높은 효율성으로 수행되도록 하는 것입니다. 인간의 뇌는 놀랍습니다. 학습이 축적됨에 따라 각 세대의 지식이 증가하고 있습니다. 우리는 이러한 지식의 진화로부터 배워야 합니다. 

지난 세기에는 범용 프로세서의 개발이 기본적으로 무어의 법칙을 따랐습니다. 트랜지스터가 점점 더 작아질 수 있었기 때문에 컴퓨팅 아키텍처의 개발은 어느 정도 묻혀버렸습니다. 무어의 법칙이 방해를 받고 AI와 같은 응용 프로그램이 높은 처리 효율성을 추구해야 하는 상황에서 컴퓨팅 아키텍처에 대한 연구가 다시 주목을 받고 있으며, 앞으로 10년은 전용 프로세서의 전성기가 될 것입니다. 

뇌와 유사한 연구에 관해서 사람들이 가장 자주 묻는 질문은 '뇌와 유사한 컴퓨팅이 무엇을 할 수 있을까?'입니다.

이는 치명적인 문제입니다. 인공지능이나 뇌 과학 분야에서 일하는 많은 사람들은 그 원리를 명확히 알지 못합니다. 예를 들어 뇌 과학을 살펴보면, 현재는 상당히 분리되어 있는 세 가지 수준이 있습니다. 

첫 번째는 신경 세포가 정확히 어떻게 작동하는가입니다. 아직도 많은 의학자와 생물학자들이 이 문제에 관해 어려운 탐구와 연구를 진행하고 있습니다.

  두 번째는 신경세포가 어떻게 연결되는가입니다. 뇌에는 10의 11승 개의 신경 세포가 있습니다. 이들이 어떻게 연결되어 있는지 이해하는 것도 어렵고, 광학과 물리학의 힘이 필요합니다. 

마지막으로, 우리는 그들이 어떻게 학습하는지 알아야 합니다. 이는 가장 어렵지만 가장 중요한 질문이기도 합니다.

모든 면에서 격차가 있지만, 어려움이 탐험을 포기할 이유가 되어서는 안 됩니다.아무것도 하지 않으면, 기회도 없을 거예요. 각 단계에서 무언가를 하면 항상 새로운 것이 생겨나고, 이를 반복해서 진행합니다.

뇌과학이 완전히 이해될 때까지 계속 진행한다면, 너무 늦을 것이고 다른 사람들이 분명 우리보다 앞서나갈 것입니다.

예를 들어, CPU를 만드는 것은 사람들이 생각하는 것만큼 간단하지 않습니다. 중국 사람들이 똑똑하지 않다는 것이 아닙니다. 엔진도 마찬가지입니다. 모두가 원리를 이해하지만, 잘 실천하기는 쉽지 않습니다. 공학적 난이도와 기술 축적은 하룻밤 사이에 이루어질 수 없습니다. 

그 이유 중 하나는 많은 것들이 대규모 산업 체인을 가지고 있기 때문입니다. 처음부터 하지 않으면 시행착오를 겪을 기회를 많이 놓치게 됩니다.  이 분야에서는 급격한 혁신이 일어나지 않을 것이며, 우리는 현실적인 방식으로만 나아갈 수 있을 것입니다. 미래에 대해 말하자면, 현재의 인공지능, 강력한 인공지능, 인공지능 2.0, 뇌와 유사한 컴퓨팅은 모두 같은 곳으로 귀결될 것이라고 생각합니다. 왜냐하면 이 모든 것이 뇌에서 시작되었지만, 방향만 다를 뿐이기 때문입니다.

질문: 얼마 전 Nature에 연구자들이 선충류의 모든 뉴런과 모든 뉴런을 연결하는 7,000개의 연결을 완벽하게 나타낸 지도를 그린 기사가 실렸습니다.

질문: 이 연구는 뇌와 관련된 연구와 관련이 있나요? 기존 기술이나 폰 노이만의 CPU를 사용하여 선충류 작업을 시뮬레이션할 수 있을까요? 앞으로 3~5년 안에 어떤 일이 일어날 것으로 예상하시나요?

저는 선충류의 구조에 대한 연구 내용을 읽었는데, 그것이 뇌와 관련된 연구에 큰 영향을 미친다는 내용이 담겨 있었습니다. 사실, 현재 AI 모델의 연결 구조는 뇌와 유사한 컴퓨팅이든 인공지능이든 대부분 현재의 계층적 심층 신경망에서 파생된 것으로, 실제로는 매우 피상적입니다.

우리의 뇌는 단순한 여러 겹의 네트워크가 아니라 그래프에 더 가깝습니다. 게다가 다양한 뇌 영역 사이의 연결은 매우 복잡합니다. 이 연구의 중요성은 우리가 이런 연결 방식에서 무엇을 배울 수 있는지 생각하게 한다는 것입니다.

그 전에도 신경망의 구조에 대한 관점이 있었는데,연결 구조의 역할은 실제로 각 연결의 구체적인 가중치보다 더 큽니다. 즉, 연결의 의미는 각 매개변수의 의미보다 큽니다.

합성곱 신경망이 기존 신경망보다 더 강력한 이유는 연결 구조가 다르기 때문에 특징을 추출하는 능력이 더 강력하기 때문입니다. 이는 또한 연결 구조가 결과에 변화를 가져온다는 것을 보여줍니다.

사실, 기존 프로세서에서는 이러한 결과를 얻는 게 약간 어렵습니다. 폰 노이만 구조의 가장 전형적인 특징은 매우 명확한 저장 장치와 매우 명확한 컴퓨팅 장치가 필요하다는 것입니다.

하지만 우리의 뇌에는 그런 명확한 경계가 없습니다. 장기 기억을 담당하는 해마가 있지만, 신경망의 관점에서 볼 때 뇌의 어떤 세포 그룹이 저장을 담당하고 어떤 세포 그룹이 계산만 담당하는지 명확하지 않습니다.

뇌는 혼란스러운 네트워크와 비슷해서 계산과 저장을 구분하기 어렵습니다. 그래서 이러한 관점에서 보면 기존의 칩이나 프로세서 기술을 사용하는 것은 어렵습니다.

그러므로 우리는 뇌와 유사한 연구를 수행하기 위해 새로운 비-폰 노이만 방법을 개발하고 새로운 구조적 지원을 활용해야 합니다.

예를 들어, 2018년 튜링상은 특수 분야 칩이 점점 더 인기를 끌 것이라고 발표했습니다. 엔비디아가 현재 추진하고 있는 것은 이기종 아키텍처로, 하나의 플랫폼에 여러 개의 작은 칩 IP 코어가 들어가는데, 이는 인간의 뇌와 유사할 수 있습니다.

따라서 이전처럼 하나의 CPU가 모든 문제를 해결할 수 있는 상황은 더 이상 존재하지 않으며, 모든 문제를 효율적으로 해결할 수 있는 하나의 칩도 존재하지 않습니다. 미래에는 다양하고 효율적이며 전문화된 개발 기술이 점차 등장하게 될 것이며, 이는 현재의 추세입니다.

현재 사람들의 뇌과학이나 뇌 유사 컴퓨팅에 대한 이해는 인공지능에 대한 이해만큼 철저하지 않습니다. 매우 중요한 이유 중 하나는 투자자와 업계가 아직 크게 관여하지 않았다는 것입니다. 그러므로 데이터 컴퓨팅 능력과 도구를 모두 구현하기 어렵습니다. 뇌와 유사한 컴퓨팅은 아직 초기 단계에 있습니다. 저는 점점 더 많은 대학과 기업이 참여함에 따라 상황이 훨씬 더 명확해질 것이라고 믿습니다.

질문: 뇌와 유사한 칩의 아키텍처와 전통적인 폰 노이만 아키텍처의 차이점은 무엇입니까?

뇌형 칩은 뇌형 칩과 컴퓨팅형 칩으로 나눌 수 있습니다. 뇌의 관점에서 보면, AI의 심층신경망만이 아니라 뇌과학적 계산도 일부 결합된 것입니다. 

건축학적 관점에서 볼 때, 폰 노이만 시스템에는 병목 현상이 존재합니다. 실제로 반도체 산업 전체의 아키텍처는 이러한 문제에 직면해 있습니다. 저장 용량이 점점 더 커질수록 속도는 점점 더 느려집니다. 규모를 확장하고 동시에 속도도 높이고 싶다면 이는 불가능합니다. 기본적으로 아키텍처 설계를 하는 사람들은 주로 스토리지 계층을 최적화하고 더 빠르게 만드는 방법을 연구합니다.

Tianji는 다른 아키텍처와 달리 확장이 필요한 메모리를 사용하지 않습니다.천지칩은 뇌와 더 유사합니다. 뇌는 여러 개의 작은 회로로 연결된 세포에 해당하며, 이 회로는 다시 여러 개의 네트워크로 확장되어 최종적으로 기능적 영역과 시스템을 형성합니다.GPU와는 달리 쉽게 확장 가능한 구조입니다.

Tianji 칩의 멀티코어 분산 아키텍처는 저장 공간의 제약 없이 대규모 시스템으로 쉽게 확장될 수 있음을 보여줍니다. 실제로는 저장과 컴퓨팅을 통합한 비-폰 노이만 아키텍처입니다. 이것이 아키텍처 수준에서 기존 프로세서와의 가장 큰 차이점입니다. 이전 것은 모델 수준의 차이인데, 기본적으로는 이 두 범주 간의 차이입니다.