튜링상의 이면: 그들은 30년 전에 올바른 길을 선택하고 올바른 시나리오에 베팅했습니다.
튜링상을 수상하는 데 필요한 조건 중 하나는 컴퓨터 분야에서 주요 연구 혁신을 이루고 사회에 중요한 공헌을 한 것입니다. 세 명의 전임자들이 이 상을 받을 만한 이유는 그들이 과학 연구에서 큰 학문적 혁신을 이루었을 뿐만 아니라, 실제 문제에 대한 실용적인 솔루션을 선도하고 있기 때문입니다.
튜링상은 1966년 제정된 이래 주로 컴퓨터 산업에 중요한 공헌을 한 개인에게 수여되었습니다.
2018년 컴퓨터 산업 최고의 상인 튜링상을 딥 러닝 분야의 3대 유명 인사가 수상했습니다. 그들의 상은 당연한 것입니다. 딥 러닝이 이해되거나 높이 평가받지 못했던 시절부터 현재 거의 모든 곳에 적용되는 데 이르기까지, 그들은 이 기술의 혁신과 홍보에 없어서는 안 될 기여를 해왔습니다.
여기서는 그들의 보고서와 성과에 대한 자세한 내용을 다루지 않겠습니다. 대신, 이 세 명의 뛰어난 연구자들이 어떻게 모든 장애물을 극복했는지 보기 위해 몇 가지 작은 장면을 살펴보겠습니다.
르쿤의 서명 기술은 은행 수표에서 유래했다
르쿤이 필적 인식 연구에 참여하게 된 계기는 실제로 우연에 기반한 프로젝트였습니다. 당시 전성기를 누리고 있던 르쿤은 벨 연구소(당시 AT&T 소유)에서 팀 리더로 근무하고 있었습니다. 당시 최고의 통신기술 기업이었던 AT&T는 미국 내 주요 은행과 협력하여 새로운 연구 프로젝트를 수행할 계획이었습니다.
은행이 겪는 가장 큰 고민은 대량의 손으로 쓴 수표와 청구서를 어떻게 식별할 것인가입니다. 그 당시 손으로 쓴 글자를 인식하는 것은 어려운 일이었고, 기존 방식은 속도가 느리고 인식률도 낮았습니다.
레쿤은 역전파 알고리즘을 합성곱 신경망(CNN)에 통합하고, 미국 우정국에서 제공한 약 10,000개의 손으로 쓴 숫자 샘플을 사용하여 시스템을 훈련시켰습니다. 실제 테스트 과정에서 오류율은 5 %에 불과했습니다.
이후 이 혁신적인 기술은 많은 은행의 ATM의 수표 인식 시스템에 사용되었습니다. 1990년대 후반에는 이 시스템을 통해 미국에서 발행되는 수표의 10~20%가 인식되었습니다.
레쿤의 연구는 최초로 CNN을 제안하였고, 당시의 상황에서 상업적 수준의 정확도를 달성하였습니다. 이는 심층 신경망이 이미지 처리에 있어 자연스러운 이점을 가지고 있음을 증명합니다.
하지만 당시의 기술과 하드웨어로는 딥 네트워크의 개발에는 여전히 컴퓨팅 파워의 부족 등 많은 단점이 있었습니다. 알고리즘은 큰 성공을 거두었지만 데이터 세트를 사용하여 학습하는 데 3일이 걸렸습니다.
그 이후, AI는 다시 냉담하게 받아들여졌습니다. 지원 벡터 머신(SVM)의 사용 편의성과 더불어 딥 러닝은 진지하게 받아들여지지 않고 대신 부수적인 기술로 간주되었습니다.
서류 주소:http://yann.lecun.com/exdb/publis/pdf/lecun-89e.pdf
LeCun은 자율주행을 위한 새로운 시나리오를 찾고 있습니다.
2006년이 되어서야 요슈아 벤지오, 얀 르쿤, 제프리 힌튼 등이 장기간 지속하고 홍보하고 몇 가지 새로운 아이디어와 방법을 도입하면서, 원래 대부분 사람에게 가치 있게 여겨지지 않았던 이 기술이 천천히 빛을 발하기 시작했습니다.
2006년은 딥러닝의 원년으로도 알려져 있습니다. 힌튼은 이전에 겪었던 문제, 즉 딥 네트워크에서 사라지는 그래디언트 문제를 해결했습니다.
2009-2010년으로 넘어가면,레쿤과 뉴욕대학교는 딥러닝 기술을 사용하여 이미지에서 건물, 하늘, 도로, 보행자, 차량을 식별하는 실험을 공동으로 진행했습니다.
이미지 인식의 핵심 단계는 장면 분석으로, 이는 이미지의 각 요소에 해당 범주를 레이블링한 다음, 영역 분할과 레이블링이 이어지는 것을 포함합니다. 이 단계의 과제는 기존의 탐지 문제, 분할 및 다중 레이블 인식 처리를 결합한다는 것입니다.
좋은 시각적 분류와 정확성을 달성하기 위해 그들은 합성 신경망을 사용했습니다. 이 연구에서는 종단 간 지도 학습을 통해 대형 이미지에서 여러 크기의 원본 픽셀을 추출하는 피드포워드 합성 신경망을 시연했으며, 이를 통해 당시 표준 장면 파싱 데이터 세트에서 가장 진보된 수준을 달성했습니다.
이 모델은 기능 엔지니어링에 의존하지 않고 완전히 레이블이 지정된 이미지에서 학습된 지도 학습을 사용하여 저수준 및 중간 수준 기능을 올바르게 학습한다는 점이 언급할 가치가 있습니다.
서류 주소:http://yann.lecun.com/exdb/publis/pdf/farabet-pami-13.pdf
구글의 최고 홍보: 힌튼과 당뇨병성 망막병증
2006년 이후로 딥러닝이 점점 더 많은 연구자들의 관심을 끌기 시작했다고 한다면, 2012년 이후로는 공식적으로 급속한 발전 단계에 들어섰다고 볼 수 있습니다.
2012년, 힌튼이 이끄는 팀은 딥 신경망 방법을 사용하여 ImageNet 대회에서 이미지 인식 부문에서 확실한 승리를 거두었습니다.
2016년에는 딥러닝을 기반으로 한 알파고가 이세돌을 물리쳤고, 딥러닝 역시 많은 사람들에게 AI를 알리는 계기가 되었습니다. 수년간의 침묵 끝에 딥 러닝은 공식적으로 폭발적인 성장기에 접어들었으며, 시각 처리 및 음성 인식 등 여러 분야에서 그 잠재력이 충분히 입증되었습니다.
매우 작은 예:2017년, 제프리 힌튼은 Google Brain에서 새로운 분류 방법을 사용하여 의학적 진단을 지원했습니다.개별 라벨을 모델링하여 분류 역량을 개선함으로써, 이러한 라벨링 접근 방식이 당뇨병성 망막증에 대한 컴퓨터 지원 진단의 정확도를 향상시킨다는 사실도 보여주었습니다.
이 혁신적인 방법은 전문가의 라벨링이 필요한 엄청난 양의 실제 데이터를 처리하는 데 사용됩니다.
그 당시 데이터 세트에 레이블을 붙이는 작업은 일반적으로 여러 전문가에게 분담되었고, 각 전문가는 데이터의 작은 부분에만 레이블을 붙였으며, 동일한 데이터 포인트에는 여러 전문가가 표시한 레이블이 포함되어 있었습니다.
이러한 접근 방식은 개인의 업무량을 줄이는 데 도움이 될 뿐만 아니라 데이터에서 찾기 힘든 진실을 발견하는 데도 도움이 될 수 있습니다. 전문가들이 동일한 데이터 포인트의 레이블에 대해 의견이 일치하지 않는 경우, 표준적인 접근 방식은 더 많은 전문가의 지지를 받는 레이블을 올바른 레이블로 취하거나, 올바른 레이블을 모델링하여 분포 상태를 얻는 것입니다.
그러나 이러한 접근 방식은 어떤 전문가가 어떤 라벨을 붙였는지에 대한 잠재적으로 유용한 정보를 무시합니다. 예를 들어, 독특한 전문 지식을 갖춘 전문가가 발견한 상황은 다른 사람이 알지 못하기 때문에 알고리즘에 의해 결국 무시될 수 있습니다.
Google Brain 팀은 전문가를 개별적으로 모델링한 다음, 이 정보를 결합하기 위해 평균 가중치를 학습하는 방안을 제안했습니다. 아마도 샘플별로 다르게 적용할 것입니다. 이런 방식으로 더욱 신뢰할 수 있는 전문가에게 더 많은 가중치를 부여할 수 있으며, 개별 전문가의 고유한 강점을 활용하여 특정 유형의 데이터를 분류할 수 있습니다.
그들은 딥 신경망을 적용하여 이 분류 방법을 통해 망막을 통한 당뇨병 진단을 개선했으며, 그들이 제공한 알고리즘 성능도 다른 방법보다 우수했습니다.
올바른 길을 선택하고 튜링상에 더 가까이 다가가세요
2019년 3월 27일2018년 튜링상이 발표되었고, 딥러닝 분야의 장기 실무자 3명인 요슈아 벤지오, 제프리 힌튼, 얀 르쿤이 수상했습니다.그 이유는 이들이 딥 신경망 개발에 중요한 역할을 했기 때문입니다.
실제로 이 세 사람이 딥 러닝 개발에 기여한 바는 너무 많아서 다 언급할 수 없으며, 이 글에서 나열한 세 가지 시나리오는 그들이 성공할 수 있는 기회 중 하나일 뿐입니다. 수상 후의 영광도 볼 수 있지만, 그들에게 가장 소중한 것은 수십 년간 자신이 믿는 트랙과 기술에 헌신하고 열정을 쏟은 것입니다.