르쿤의 동생 벤지오가 전임자와 함께 상을 수상한 이유는 무엇일까?
시나리오 설명:벤지오의 딥러닝 연구는 기계 번역의 발전을 촉진했으며, 그의 업적은 결국 그에게 2018년 튜링상을 안겨주었습니다.
키워드:딥러닝 기계 번역 튜링상
1988년, 캐나다 맥길 대학에서 컴퓨터 공학을 전공하는 박사과정 학생이었던 요슈아 벤지오는 30년도 더 지나서 자신의 우상인 제프리 힌튼과 함께 튜링상을 수상하게 될 줄은 예상하지 못했을 것입니다.
벤지오는 프랑스에서 태어나 프랑스어권 캐나다의 몬트리올에서 자랐습니다. 그는 어렸을 때부터 공상과학을 좋아했습니다. 예를 들어, SF 작가 필립 K. 딕의 "안드로이드는 전기양을 꿈꾸는가"는 그에게 가장 큰 인상을 준 소설이었습니다. 대기업이 만든 의식 있는 로봇이 환경의 영향으로 결국 악당으로 전락하는 이야기를 다룬다.
벤지오는 힌튼의 논문을 읽으며 마치 전기 충격을 받은 듯한 느낌을 받았습니다. 어린 시절에 좋아했던 공상과학 이야기에서 그 느낌을 발견했기 때문이며, 이는 그가 자신의 연구 방향을 찾는 데 도움이 되었습니다.
벤지오는 MIT에서 박사후 학위를 취득한 후 벨 연구소에 입사하여 르쿤 팀의 일원이 되었습니다. 이때부터 튜링상과의 관계가 공식적으로 시작되었습니다.
Bengio가 개입하기 전에는 기계 번역이 임시방편에 불과했습니다.
벤지오가 자신의 연구 분야를 선택했을 때, 그는 자신이 얼마나 큰 영향을 미칠지 전혀 몰랐을 것입니다. 이 이야기는 IBM의 첫 번째 번역기부터 시작됩니다.
이 번역기는 1980년대에 발명되었는데, 당시 주류 기술은 규칙 기반 기계 번역(RBMT)이었습니다. 가장 흔한 방법은 사전에서 직접 단어 하나하나를 번역한 다음, 구문 규칙을 추가하여 수정하는 것입니다. 하지만 결과는 매우 실망스럽습니다. 다음과 같이 매우 "어리석어" 보이기 때문입니다.
이 슬로건의 경우 맥락을 고려하지 않으면 수동 번역 결과는 다양합니다. "우리가 매춘부가 될 수 있을까요?" "우리는 매춘부가 될 권리가 있어요!" "우리는 닭의 오른쪽 반쪽을 만든다"...그러니 규칙 기반의 기계 번역은 말할 것도 없다.
예를 들어, KFC의 슬로건은 다음과 같습니다."우리는 닭고기를 제대로 만듭니다"규칙 기반 기계 번역 결과는 다음과 같습니다."우리는 닭고기를 제대로 만듭니다",또는,"우리는 닭커플이에요"…
그래서 1980년대에는 이런 번역 방법은 사라졌습니다.
이후에는 코퍼스 기반의 기계 번역이 등장하였는데, 이는 통계 기반(SBMT)과 인스턴스 기반 기계 번역(EBMT) 방식으로 나뉘었다. 간단히 말해서, 이는 문장 추출 패턴입니다. 번역할 문장을 입력하면 이중 언어 코퍼스에서 비슷한 문장을 검색한 후 다른 어휘 번역으로 바꿉니다.
예를 들어:
나는 샤오밍에게 펜을 주었다.
나는 리밍에게 사과를 주었다.
이런 문장의 경우, 비슷한 부분을 추출하여 다른 곳의 단어를 바로 바꿀 수 있습니다.
그러나 이 방법은 이중 언어 코퍼스의 구조, 구문 조각의 세분화, 예문 쌍의 정렬, 조각의 재구성 등에 대한 요구가 매우 높아 많은 문제점을 안고 있다. 그래서 당시에는 기계번역과 수동번역 사이에 여전히 큰 차이가 있었습니다.
주의 메커니즘, 기계 번역 개선
지난 반세기 동안 기계 번역의 발전은 많은 우여곡절을 겪었지만, 눈에 띄는 개선은 없었습니다.
5~6년 전만 해도 Google Translate는 여전히 구문 기반 통계적 기계 번역(SMT)을 기반으로 했으며, SMT는 항상 가장 진보된 기계 번역 방식으로 여겨졌습니다. 하지만 많은 사람들에게 기계 번역은 그저 임시방편일 뿐입니다.
머신 러닝이 신경망 덕분에 역사적인 획기적인 발전을 이룬 것은 2014년이 되어서였다.
이는 요슈아 벤지오 덕분입니다.
2001년에 요슈아 벤지오 등은 작년 11월 NIPS(NeurIPS로 개칭)에서 획기적인 논문을 발표했습니다."신경 확률론적 언어 모델"자연어를 표현하기 위해 고차원 단어 벡터를 사용합니다. 그의 팀은 또한 기계 번역의 획기적인 발전을 가능하게 하고, 딥러닝이 시퀀스를 처리하는 데 중요한 기술이 된 주의 메커니즘을 도입했습니다.
2014년, 요슈아 벤지오의 논문「통계적 기계 번역을 위한 RNN 인코더-디코더를 이용한 구문 표현 학습」이를 통해 기계 번역에 사용되는 딥러닝 기술의 기본 아키텍처가 처음으로 제시되었습니다. 그는 주로 시퀀스 기반 재귀 신경망(RNN)을 사용하여 기계가 문장 사이의 단어 특징을 자동으로 포착하고, 번역 결과를 다른 언어로 자동으로 작성할 수 있도록 합니다.
이 기사가 나왔을 때, 구글은 매우 기뻐했습니다. 곧 구글로부터 충분한 화약 공급과 신의 축복으로 이 논문은 2016년 9월 ArXiv.org에 게재되었습니다."구글의 인공신경망 기계번역 시스템: 인간 번역과 기계 번역의 격차 해소".
동시에, 구글은 모든 통계적 기계 번역이 선반에서 사라지고 신경망 기계 번역이 그 자리를 차지하여 현대 기계 번역의 절대적인 주류가 될 것이라고 공식적으로 발표했습니다.
구글은 약 27년 만에 기계 번역이 1989년 IBM 기계 번역 모델(PBMT, 구문 기반 기계 번역)에서 신경망 기계 번역 모델로 공식적으로 전환되었으며, 번역 정확도가 87%로 향상되었다고 발표했습니다. Google은 "영어-프랑스어", "영어-중국어", "영어-스페인어"와 같은 여러 언어 쌍에서 이전의 통계적 기계 번역 시스템과 비교했을 때 오류율이 60% 감소했다고 주장합니다.
이 정확도는 이미 일반인의 번역 정확도와 매우 가깝습니다. MIT TR은 이 번역이 "인간과 거의 구별할 수 없을 정도"이며 "신경망 기계 번역의 힘을 훌륭하게 보여주었다"고 보고했습니다.
이 소식은 당시 기술계에 큰 반향을 일으켰고, 구글의 신경망 기계 번역 시스템(GNMT)은 기계 번역 역사에서 중요한 이정표가 되었습니다. GNMT는 캐나다 몬트리올 대학의 요슈아 벤지오와 그의 딥러닝 팀이 개척한 신경망 기계 번역(NMT) 기술을 사용한다는 점은 언급할 가치가 있습니다.
따라서 요슈아 벤지오는 자연어 이해 및 처리 기술의 발전을 촉진했다고 할 수 있으며, 그가 참여한 연구는 나중에 많은 기계 번역 및 인공지능 보조 제품에 통합되었습니다.
NMT 이후, 백 가지 사상 학교
2016년 인터뷰에서 요슈아 벤지오는 자신이 자랑스러웠던 과거 연구에 대해 이야기했습니다.비교적 최근의 예를 들자면, 기계 번역 분야에서 최근 몇 가지 발전이 있었는데, 이는 대부분 저희 연구 그룹인 신경망 기계 번역(Neural Machine Translation)의 연구 덕분입니다. 이 기술은 약 2년 전에 개발되어 현재 전 세계 연구실에서 사용되고 있습니다. 이는 가장 진보된 기계 번역 기술이며, 신경망이 기계 번역 분야에서 획기적인 발전을 이룬 최초의 사례입니다. 이전에도 신경망은 음성 인식이나 컴퓨터 비전과 같은 분야에서 큰 발전을 이루었지만, 기계 번역과 자연어 처리는 아직 초기 단계에 있습니다. 따라서 이는 저희가 자랑스러워할 만한 성과라고 생각합니다.
NMT 기술을 기반으로 다양한 인터넷 기술 회사도 잇따라 새로운 이니셔티브를 출시하고 있습니다. 2017년 10월, 구글은 구글 어시스턴트, 실시간 번역 등의 기능을 통합하고 40개 언어로 실시간 번역을 지원하는 새로운 하드웨어 제품인 Pixel Buds 헤드폰을 출시했습니다.
이후 몇 년 동안 NetEase Youdao, iFLYTEK, Sogou 등 국내 기업도 번역기 제품을 출시했으며, 이러한 제품을 뒷받침하는 기술은 NMT와 분리할 수 없습니다.
2018년 3월, Microsoft Research Asia의 레드먼드 연구소 연구원들은 신경망 기계 번역 아키텍처를 추가했다고 발표했습니다.이중 학습게다가심의 네트워크본 연구팀이 개발한 기계번역 시스템은 일반 뉴스보도 테스트 세트인 newstest2017의 중국어-영어 번역 테스트 세트에서 인간 번역과 비슷한 수준을 달성했습니다.
만약 신경망 번역이 제안되지 않았다면, 우리는 아직도 번역의 많은 부분이 문법 오류로 가득 차 있고 그 결과가 "끔찍한" 단계에 있었을지도 모릅니다. 슈퍼 뉴럴 AI 편집자는 영어 실력이 부족하거나 번역이 형편없다는 이유로 해고될 위험에 처할 수도 있습니다...
그러니 벤지오와 인공신경망 기계 번역 덕분에 튜링상은 당연히 받을 만합니다.