HyperAI超神经

연례 TensorFlow Dev Summit이 최근 개최되었습니다. 신종 코로나바이러스 팬데믹의 영향으로 이번 정상회의는 처음으로 온라인으로만 개최되었습니다.

생방송은 베이징 시간으로 3월 12일 오전 0시 30분부터 오전 8시까지 진행되었습니다. 머신 러닝 개발자를 위한 이 연례 행사는 수많은 중국 시청자들이 생방송을 시청하기 위해 밤늦게까지 깨어 있게 만들었습니다. 그렇다면 TensorFlow(약칭 TF)는 어떤 중요한 기술을 공개했을까요?

이러한 측면 중 몇 가지를 골라내고 주요 내용을 간략하게 검토해보겠습니다.

TensorFlow: 가장 인기 있는 ML 프레임워크

이 컨퍼런스는 메건 카콜리아의 기조연설로 시작되었습니다.

메건 카콜리아는 TensorFlow와 Google Brain의 엔지니어링 디렉터로, TensorFlow에 중점을 두고 있습니다. 그녀는 구글에서 수년간 근무했으며, 그녀의 업무 방향은 대규모 분산 시스템을 연구하고 성능을 개선하고 향상시킬 수 있는 방법을 찾는 것입니다.

기조연설에서는 평소와 마찬가지로 지난해 TF의 성과, 주요 이벤트, 대중 활용 사례 등이 발표되었습니다.

TF의 현재 사용량은 7,600만 다운로드, 80,000건 이상의 제출, 13,000건 이상의 풀 리퀘스트, 2,400명 이상의 기여자에 도달했습니다. 이는 TF가 가장 인기 있는 머신 러닝 프레임워크임을 충분히 입증합니다.

기조연설 세션의 초점은 TensorFlow 생태계를 소개하는 세 명의 거물에 맞춰졌습니다.

수년에 걸쳐 TF가 개발되면서 관련 도구는 점차 강력한 생태계를 형성하게 되었으며, 여기에는 많은 유용한 라이브러리와 확장 구성 요소는 물론 다양한 작업을 위한 다양한 애플리케이션이 포함되었습니다.

메건 카콜리아는 먼저 TF의 활용을 소개하는 데 중점을 두고, TF 관련 연구, 현실에서의 실제 사례, 각 사용자를 위한 개발 및 배포라는 세 가지 측면에서 자세한 소개를 제공했습니다.

그런 다음 마나시 조시는 TF의 AI 윤리 기준을 소개하면서 AI를 사용할 때 성 차별을 피하고 공정성, 설명 가능성, 개인 정보 보호, 보안 및 기타 문제를 보장하는 방법을 설명했으며 TF가 이러한 문제를 해결하기 위해 사용하는 일련의 도구를 나열했습니다.

마지막으로, 케말 엘 무자히드는 TF 커뮤니티와 커뮤니티 구성원의 글로벌 분포를 소개하고, 커뮤니티에서 수행한 일련의 활동을 시연하고, 머신 러닝 집중 강좌와 같은 리소스 콘텐츠를 업데이트했습니다.

새로운 버전이 나옵니다! TF 2.2가 조용히 출시되었습니다.

키노트에서 많이 논의되었던 TF 생태계에 비하면, 이번에 출시된 최신 버전인 TF 2.2는 훨씬 더 단순한 느낌이 듭니다.

하지만 새로운 버전인 만큼 몇 가지 주요 업데이트도 포함되어 있습니다. TF 2.2는 주로 세 가지 측면에서 조정을 했습니다. 성능에 더 많은 주의를 기울이고, TF 생태계와 통합하고, 핵심 라이브러리를 안정화하는 것입니다.

이 버전은 이제 Github에서 사용할 수 있습니다.
https://github.com/tensorflow/tensorflow/releases

주요 기능 및 개선 사항은 다음과 같습니다.

1) 문자열 텐서의 스칼라 유형을 std::string에서 tensorflow::tstring으로 교체하여 이제 ABI가 더 안정되었습니다.

2) CPU/GPU/TPU용 새로운 프로파일러. 입력 파이프라인과 TF Ops를 포함한 장치 및 호스트 성능 분석을 제공합니다. 가능한 경우 최적화 제안을 제공하세요.

3) Swig를 사용하지 말고, SWIG 대신 pybind11을 사용하여 C++ 함수를 Python으로 내보냅니다.

기타 업데이트는 tf.keras, tf.lite, XLA에서 확인할 수 있으며, GitHub에서 확인할 수 있습니다.

NLP의 혁명? 이미지 처리 추가

기조연설 세션 직후, NLP에서 TensorFlow의 진행 상황이 공유되었고, 발표자는 "TensorFlow와 Keras를 활용한 읽기 학습"이라는 주제로 기조연설을 했습니다.

보고서는 자연어 처리(NLP)가 전환점에 도달했으며, 현재 연구는 TF와 Keras를 사용하여 텍스트 모델의 사전 처리, 학습 및 하이퍼튜닝을 보다 쉽게 만드는 방법에 집중되어 있다고 기술합니다.

강조할 점이 하나 있습니다. NLP는 이미지 처리의 새로운 방식입니다.

발표자는 아이가 사물을 보면서 글쓰기를 배우는 예를 들어, TF가 이미지 처리 관점에서 NLP 성능을 개선하기 위해 노력하기 시작했다고 말했습니다.

실제로 TF는 버전 2.X부터 Proprocessing Layers를 도입했습니다. 이 개선사항에는 다음과 같은 특징이 있습니다.

tf.keras 프로그램을 대체하여 일련의 모델로 처리 계층 역할을 수행함으로써 데이터를 변환하는 것이 더 쉽습니다.

강사는 NLP가 새로운 이미지 처리라는 것을 증명하기 위해 이미지 분야와 NLP 분야의 프로프로세싱 계층을 비교하고, 그 공통점을 지적했습니다.

TF Lite 업그레이드: 모바일 폰 경험에 더욱 중점을 두다

모바일 폰이 일상생활에서 점점 더 중요해짐에 따라 TF는 에지 디바이스에서의 사용자 경험에 더 많은 관심을 기울이고 있습니다. 이번에는 기조 보고서를 통해 TensorFlow Lite에 대한 일부 업데이트를 공유했습니다.

콘텐츠에는 TF의 새로운 기술을 사용하여 ML을 모바일 폰, 임베디드 장치 또는 기타 단말기에 더 빠르고 안전하게 배포하는 방법이 포함됩니다.

현재 TF는 수십억 개의 에지 디바이스에 배포되었으며 1,000개 이상의 모바일 앱에서 사용되고 있습니다. 이는 모바일 기기와 마이크로컨트롤러 분야에서 가장 인기 있는 크로스 플랫폼 ML 프레임워크입니다.

이번에 강조된 내용에는 다양한 기기에 대한 적응성, 최적의 성능 처리를 위한 일련의 툴킷 개발, 엣지 성능에 대한 지원 지속적 확대, 오프라인 상황에서의 활용 능력, 개인정보 보호 및 보안 기능에 대한 더욱 큰 중시가 포함되었습니다.

새로 추가된 TF lite 확장 라이브러리의 경우, 더 많은 이미지 및 언어 API가 추가되었고, Android Studio 통합이 추가되었으며, 코드 생성 등의 기능이 개선되었습니다.

이 보고서는 또한 Apple의 신경 칩의 핵심 ML 에이전트를 통해 Apple의 터미널 기기에서 부동 소수점 컴퓨팅 속도를 가속화할 수 있는 Core ML Delegation을 출시했습니다.

마지막으로, 우리는 후속 개발 사항도 미리 살펴보았습니다. TensorFlow Lite 2.3과 같이 더 큰 성능 향상을 가져올 다른 CPU 최적화 방법이 있을 것이고, TF 2.2에는 새로운 모델 변환기가 기본적으로 포함될 예정입니다.

Nuke: TF Quantum 출시

정상회담이 끝나갈 무렵, 마수드 모흐세니가 등장하여 양자 모델을 훈련하기 위한 머신 러닝 라이브러리인 최근 발표된 오픈 소스 TensorFlow Quantum을 다시 한번 소개했습니다.

기조연설은 매우 길었고, 양자 컴퓨팅의 원리와 TF Quantum이 해결하고자 하는 문제를 설명하는 데 거의 30분이 걸렸습니다.

TFQ는 양자 컴퓨팅과 머신 러닝 연구를 통합하여 자연적 또는 인공적 양자 시스템을 제어하고 모델링하는 데 필요한 도구를 제공합니다.

구글의 양자 컴퓨팅에 대한 대규모 계획에는 초전도 큐비트 사용이 포함됩니다.

구체적으로 TFQ는 양자 데이터 처리에 초점을 맞추고 Cirq에서 설계된 양자 컴퓨팅 알고리즘과 논리를 통합한 하이브리드 양자-고전 모델을 구축하고 기존 TensorFlow API와 호환되는 양자 컴퓨팅 장치와 고성능 양자 회로 시뮬레이터를 제공합니다.

이 연설에서는 구글이 TFQ를 하이브리드 양자-고전적 합성 신경망, 양자 제어 머신 러닝, 양자 신경망의 계층적 학습, 양자 동적 학습, 하이브리드 양자 상태의 생성적 모델링, 고전적 재귀적 신경망을 통한 양자 신경망 학습에 적용했다고 지적했습니다.

이 도구는 고전적인 순환 신경망을 통해 양자 신경망과 다른 용도를 학습하는 데에도 사용될 수 있습니다. 이는 양자 컴퓨팅 분야에 큰 활력을 불어넣을 것입니다.

연설에서 원리에 대한 설명이 많이 포함되어 있지만 구체적인 사용은 어렵지 않습니다.

관련 라이브러리와 정의를 도입하고, 모델을 정의하고, 모델을 학습시키고, 마지막으로 모델을 예측에 사용하여 사용할 수 있습니다.

이건 꼭 봐야 할 라이브 방송이에요

위에 언급된 내용 외에도 TensorFlow dev Summit에서는 다른 많은 공유 세션도 진행되었습니다.

과학 연구를 위한 TF 활용, TF Hub 소개, 협업적 ML 연구, Google Cloud에서의 TF 활용, AI 사용 시 공정한 개인 정보 보호에 대한 논의 등이 포함됩니다.

약 8시간 동안의 라이브 방송을 통해 TensorFlow의 모든 측면이 시연되었습니다. 처음으로 온라인 생중계라는 형식을 도입한 것이기는 했지만, 유익한 내용이 많아 모두가 밤늦게까지 시청할 만한 가치가 있었습니다.

더 자세한 내용을 알고 싶으시다면 녹화된 방송을 통해 이 이벤트를 시청하실 수 있습니다.

https://space.bilibili.com/64169458