2018년 AI 개발에 대한 예측은 모두 정확했으며, 2019년 목표도 설정했습니다.

Super Neuro에서

"저희는 2019년 데이터 과학, 머신러닝, 인공지능 분야에 대한 5가지 예측을 내놓았습니다. 또한 작년 예측을 다시 살펴보며 실제로 어떤 예측이 맞았는지 살펴보았습니다."

윌리엄 보르히스 지음  

DataScienceCentral 편집 이사; Data-Magnum의 사장 겸 최고 데이터 과학자 EB5C 회장

작년 예측에 대한 간략한 검토 

예측 1: 모델 구축과 데이터 준비가 더욱 자동화될 것입니다. 대규모 데이터 과학 작업이 하나의 플랫폼으로 통합됩니다. 소수의 데이터 과학자만으로도 많은 작업을 수행할 수 있습니다. 

그렇습니다. 고급 분석 플랫폼에서 종단 간 통합이 가능해지면서 노코드 데이터 과학이 인기를 얻고 있습니다. 

예측 2: 데이터 과학은 전문화 방향으로 나아갈 것이며, "풀 스택" 데이터 과학자는 더 이상 존재하지 않을 것입니다. 

역시 정확하게 추측했습니다. 요즘 사람들은 데이터 과학자보다 데이터 엔지니어에 더 많은 관심을 기울입니다. 데이터 엔지니어는 더 실용적이기 때문입니다. 

예측 3: 비데이터 과학자는 데이터 과학자보다 대용량의 복잡한 분석을 더 잘 수행할 수 있게 될 것입니다.

그것이 진실이에요. 데이터 시각화와 시각적 분석의 인기에서 알 수 있듯이, 데이터 과학자가 아닌 사람들도 정교한 데이터 과학 도구에서 더 많은 가치를 얻고 있습니다. 

예측 4: 딥러닝은 어려울 것이다. 이 분야에 능숙한 데이터 과학자가 많지 않아 딥 러닝 플랫폼이 더 간소화되고 상품화되지 않는 한 인공 지능의 적용은 제한될 것입니다.

Microsoft와 Google은 모두 자동 딥 러닝 플랫폼을 출시했으며, 전이 학습부터 시작하여 완전한 AutoDL(자동 머신 러닝)로 나아갔습니다. 통합된 AutoDL 플랫폼도 있습니다. 예를 들어, One clicks.ai는 완전한 AutoML 및 AutoDL 플랫폼을 보유하고 있습니다. Gartner는 최근 AutoDL 플랫폼을 소유한 DimensionalMechanics를 "상위 5대 트렌드 기업"으로 선정했습니다. 

예측 5: 과대광고에도 불구하고 AI와 딥러닝의 보급률과 시장에 미치는 영향의 폭과 깊이는 실망스러울 것입니다.

챗봇의 급속한 발전을 제외하면 AI의 적용은 실제로 매우 제한적입니다. AI는 과대평가되었습니다. 실제 기업에서 AI와 머신러닝을 실제로 활용하는 기업의 비율은 매우 적습니다.

예측 6: 대중(과 정부)은 AI의 사회적 영향과 개인정보 보호에 대한 영향을 진지하게 검토하기 시작할 것입니다. 

미국 정부와 유럽 연합의 일부 조치를 살펴보면 캘리포니아의 다가오는 개인정보 보호 규정과 호주의 암호화 반대 성명 등 이러한 문제가 심각하게 받아들여지고 있음을 알 수 있습니다. 

놀랍지도 않게 작년에 우리가 내놓은 6가지 예측은 모두 정확했습니다. 올해도 일부 견해는 변함이 없지만, 우리는 여전히 좀 더 구체적인 예측과 분석을 하려고 노력합니다. 

2019년에 대한 예측 

예측 1: 알고리즘보다 데이터가 더 중요해질 것이다 

1년 넘게 딥러닝과 기존 머신러닝 알고리즘 분야에서 큰 혁신이 이루어지지 않았습니다. NLP의 지연 시간을 줄이기 위해 RNN 대신 Temporal Convolutional Networks(TCN)의 약간 개선된 버전이 사용되었지만, 전혀 혁신적이지 않았습니다. 좋은 알고리즘은 이미 잘 알려져 있거나 자동 머신 러닝을 사용하여 개발할 수 있습니다. 

이 단계에서는 대량의 고품질 데이터를 확보하는 것이 회사의 디지털 전환에 핵심입니다. 이로 인해 데이터 제공 솔루션 분야에서 경쟁과 기회가 생겨났으며, 이는 대략 다음과 같은 방향으로 나눌 수 있습니다.

첫 번째 방향은 정확하게 레이블이 지정된 교육 데이터를 얻는 방법입니다. Figure Eight와 같이 데이터 라벨링을 담당하는 회사는 비용 효율적이고 지능적인 전략을 홍보하고 있습니다. 예를 들어, 능동 학습은 데이터 레이블링과 모델 정확도 보장 중에서 가장 좋은 선택을 할 수 있습니다.

두 번째 방향은 타사 데이터에 접근하는 것입니다. DymstData와 같은 서비스는 수백 개의 추가 데이터 제공자를 위한 정보 교환소로서 이 분야에 진출했습니다. 또한 민감한 PII를 보호하는 역할도 하며, 사용자는 특정 민감한 정보에 액세스하기 위한 역할을 적용할 수 있는데, 이는 특히 금융 및 의료 서비스에서 중요합니다. 

세 번째 방향은 모델에서 데이터 소스를 자동으로 추적하고 기록하는 것입니다. 특히 여러 소스의 스트리밍 데이터가 통합되어 실시간으로 변경되는 경우, 데이터가 어디에서 왔는지, 어떻게 사용할 것인지 아는 것이 중요합니다. Tibco와 일부 다른 분석 플랫폼은 이 기능을 통합하고 있습니다. 

예측 2: AI/ML이 분석 플랫폼을 산업이나 프로세스별 프로그램으로 옮기면서 모든 것이 더 쉬워질 것입니다. 

AI/ML 스타트업 환경을 살펴보면 경쟁이 산업이나 특정 애플리케이션으로 옮겨가고 있습니다. 이러한 프로그램이나 미니 플랫폼은 마케팅, B2B 영업, 헬스케어, 핀테크 및 기타 정의된 그룹과 같이 다양한 비즈니스의 산업별 문제를 해결하는 데 중점을 둡니다.

이러한 새로운 애플리케이션은 AI/ML을 내장하는 데 중점을 두고 있으므로 기업에서 업데이트할 때 대규모 내부 데이터 과학자 그룹의 지원이 필요 없고 이러한 개발자에만 의존할 수 있습니다. 

일부에서는 이를 AI/ML의 상품화라고 부르지만, 더 정확하게는 AI/ML의 전문화라고 부르는 것이 더 정확합니다. 

이러한 변화는 1990년대 후반 프로세스 변환(리엔지니어링)에서 기업 자원 계획(ERP)으로의 전환과 같습니다. 당시 리엔지니어링은 기업에 프로세스를 개선하기 위해 복잡한 맞춤형 IT 솔루션을 사용하도록 요구했는데, 이를 통해 Oracle, PeopleSoft, SAP 등과 같은 주요 통합 ERP 및 CRM 회사에 문을 열었습니다. 

새로운 공급업체는 모두 자사의 특정 시장에서 광범위한 솔루션을 제공하고자 노력하지만, 필연적으로 규모가 작은 ERP 플랫폼에 그치고 맙니다. 

또한 대규모 데이터 과학 팀이 없거나 AI/ML 도입을 가속화하기 위해 전적으로 맞춤형으로 개발된 모델에 의존하는 중소 규모 기업에도 주목하세요. 

예측 3: 데이터 엔지니어와 데이터 분석가의 등장 

이는 세상이 데이터 과학자를 포기했다는 뜻은 아닙니다. 그래도 과정이 필요하죠. 하지만 당신에게 특정한 기술이 부족하면, 시장은 다양한 방법으로 그 공백을 메워줍니다. 

이를 수행하는 한 가지 방법은 위에서 설명한 업계 및 프로세스별 인텔리전스 애플리케이션을 사용하는 것입니다. 이 경우 많은 수의 사내 데이터 과학자가 필요하지 않습니다.

두 번째 접근 방식은 빠르게 부상하고 있는 자동화된 머신 러닝(AML) 플랫폼입니다. 이 방식은 데이터 과학에서 더 효율적이며, 더 적은 수의 데이터 과학자가 많은 작업을 수행할 수 있다는 것을 의미합니다.

모델의 수가 감소하는 것이 아니라 증가하고 있으므로, 두 가지 기술을 모두 갖춘 데이터 엔지니어에게 업무 부담이 전가될 것입니다.

첫째, 그는 데이터 레이크와 Spark 인스턴스 등 데이터 과학에 필요한 인프라를 구축할 수 있었습니다. 

두 번째는 모델을 가져와 운영 시스템에 구현하고 정확도를 추적하고 업데이트하는 것입니다.

일부 데이터 엔지니어는 데이터 운영을 담당하여 데이터 스트림의 정리 및 사전 처리를 담당합니다.

분석 플랫폼의 또 다른 추세는 시각적 분석 및 데이터 시각화 도구의 성장입니다. 오늘날 이러한 도구의 대부분은 데이터 과학 도구 세트와 완벽하게 통합되어 데이터 분석가와 LOB 관리자가 더 많은 가치를 추출하고 분석 작업을 안내할 수 있도록 합니다. 그들은 데이터 과학자를 대체하지는 않겠지만, 팀 내에서 고급 분석이 수행하는 역할을 강화할 것입니다. 

예측 4: 신경모사 칩: AI와 IoT가 최전선으로 이동

이 두 기술은 모두 오랜 문제인 지연 문제를 해결하는 데 있어서 동시에 준성숙 단계에 있습니다. 

예를 들어, 모바일 기기를 사용하여 텍스트나 이미지를 번역하려는 경우를 생각해 보세요. 기기는 해당 신호를 번역 클라우드에서 번역이 이루어지는 애플리케이션으로 다시 보낸 다음, 다시 기기로 다시 보냅니다. 

Google과 다른 즉석 번역 서비스는 RNN에서 시간적 합성 신경망이라는 특수 CNN 구조로 전환했습니다. RNN은 MPP에 잘 적응하지 못하지만 CNN은 MPP에 적응하기 때문입니다. 이러한 변환을 통해 지연 시간은 줄어들지만 신호는 그대로 유지됩니다. 

이 문제를 해결할 수 있는 기술 중 하나가 5G 네트워크입니다. 5G가 빠르다는 것은 누구나 알고 있지만, 진짜 장점은 더 많은 양의 트래픽을 전송할 수 있다는 것입니다.

두 번째 해결책은 새로운 신경형 칩(스파이킹 신경망이라고도 함)을 도입하는 것입니다. 이 신경망 아키텍처는 인공 일반 지능(AGI)을 달성하는 데 핵심이 될 수 있습니다. 하지만 시간이 좀 걸릴 겁니다.

현재 주요 칩 제조업체와 일부 스타트업은 CNN 및 RNN에 최적화된 펄스 신경망 전용 칩을 개발하고 있으며, 이 중 일부는 매우 낮은 전력 소비에 최적화되어 있습니다. 

이러한 기능을 결합하면 딥 러닝이 네트워크 가장자리에 있는 칩으로 이동하게 됩니다. 올해부터 IoT와 기타 스트리밍 데이터 애플리케이션이 어떻게 활성화되는지 지켜보는 것은 흥미로울 것입니다. 

예측 5: 서로 다른 AI 프레임워크가 서로 통합될 것입니다.

현재 텍스트, 음성, 이미지, 비디오 모델이 주류를 이루고 있지만, 이러한 모델의 발전은 여전히 큰 장애물에 직면해 있습니다. 하나의 프레임워크(예: Caffe2, PyTorch, Apache MXNet, Microsoft Cognitive Toolkit, TensorFlow)를 기반으로 구축된 모델은 다른 프레임워크로 쉽게 이식할 수 없습니다.

다행히도 이로 인해 몇 가지 혁신도 이루어졌습니다. 예를 들어, AWS, Facebook, Microsoft는 서로 협력하여 다양한 프레임워크에서 모델이 상호 운용될 수 있도록 하는 ONNX(Open Neural Network Exchange)를 구축했습니다.

개발자, 애플리케이션, 기기 간에 공유되는 모델 수가 늘어나면서 ONNX가 올해 핵심 기술이 될 것입니다. 

이는 올해에 대한 예측입니다. 내년에 돌아보고 이 분야가 여러분이 상상했던 것과 얼마나 다른지 확인해 보세요.