PyTorch와 TensorFlow 외에도 이 국내 프레임워크에는 다음과 같은 것이 있습니다.

이미 많은 딥 러닝 프레임워크가 있는데, OneFlow가 필요한 이유는 무엇일까요? 머신러닝 분야에서 위안진후이는 90%의 누구보다 장기적인 비전을 가지고 있습니다. 

딥 러닝 분야에서는 PyTorch와 TensorFlow와 같은 주류 프레임워크가 의심할 여지 없이 시장 점유율의 대부분을 차지하고 있습니다. 바이두 수준의 회사조차도 PaddlePaddle을 주류로 끌어올리기 위해 많은 인력과 자원을 투자했습니다.

이처럼 자원이 주도하고 포식자가 중심이 되는 경쟁 환경 속에서 국내 딥러닝 프레임워크 스타트업인 OneFlow가 등장했습니다.

이 회사는 대규모 모델을 처리하는 데 탁월하며, 올해에도 모든 소스 코드와 실험적 비교 데이터를 GitHub에 오픈 소스로 공개했습니다.

불가피하게 다음과 같은 질문이 생깁니다.대규모 모델 학습 문제를 해결하는 데 적합한 새로운 아키텍처인 OneFlow가 필요한가요? 딥 러닝 프레임워크의 효율성이 그렇게 중요한가요? 스타트업이 경쟁에서 두각을 나타낼 수 있을까?

우리는 CosCon 20′ 오픈소스 연례 컨퍼런스를 통해 Yili Technology의 CEO인 위안진후이를 인터뷰하고, 그와 그의 엔지니어들이 1,300일 밤낮으로 수십만 줄의 코드를 작업한 이야기에 대해 들었습니다.

아무리 많은 후광이 있어도 사업을 시작할 때는 한 걸음씩 나아가야 합니다.

2016년 11월, 위안진후이는 청화대학교 근처 사무실 건물에서 OneFlow의 디자인 컨셉트에 대한 첫 번째 버전을 작성했습니다. 당시 위안진후이는 4년 가까이 근무한 마이크로소프트 리서치 아시아(MSRA)에서 사임한 상태였습니다.

"전 MSRA 직원"은 위안진후이와 관련된 유일한 태그가 아니다. 그는 2003년 시뎬대학을 졸업한 뒤 청화대학 컴퓨터과학과에 추천되어 박사과정을 계속 공부했습니다.그는 중국과학원 학술원이자 중국 AI 학문의 창시자 중 한 명인 장베이 교수의 지도를 받았습니다.

위안진후이는 2008년 청화대학교를 졸업한 후 넷이즈와 360서치에 입사했습니다. 그가 개발한 호크아이 시스템은 중국 국가대표팀에서 일일 훈련 보조 시스템으로 활용되고 있습니다. 그는 MSRA에서 근무하는 동안 대규모 머신 러닝 플랫폼에 집중했습니다.또한 우리는 세계에서 가장 빠른 주제 모델 학습 알고리즘과 시스템인 LightLDA를 개발했습니다.Microsoft 온라인 광고 시스템에 사용됩니다.

LightLDA는 2014년에 출시되었습니다. 그로부터 2년 후, 독특한 비전을 가진 위안진후이는 대담한 추측을 내놓았습니다.Hadoop과 Spark 이후, 비즈니스 요구와 시나리오가 증가함에 따라 대규모 모델 학습을 효율적으로 처리할 수 있는 분산형 딥 러닝 프레임워크가 필연적으로 데이터 인텔리전스 시대의 인프라 핵심이 될 것입니다.

하지만 당시 주류를 이루던 딥러닝 프레임워크는 모두 구글, 아마존, 페이스북 등 대기업에서 개발한 것들이었고, 중국에서도 상황은 비슷했습니다.딥러닝 프레임워크를 개발하려면 막대한 연구개발비가 필요할 뿐만 아니라, 무엇보다도 외로움을 견뎌내고 장기전에 대비할 수 있는 능력이 필요하기 때문입니다. 그러므로 어떤 스타트업도 이 분야에 도전하려 하지 않습니다.

기존의 딥러닝 프레임워크는 이미 본격적으로 활용되고 있습니다. 스타트업이 새로운 프레임워크를 내놓으면 사용자들이 그것을 살까? 행동 지향적인 원진휘는 생각할 뿐만 아니라 행동할 용기도 가지고 있습니다.

그가 OneFlow의 첫 번째 코드 줄을 입력했을 때, 그는 아직 세부적인 구현 전략은 생각하지 못했고, 완벽한 비즈니스 로직은 더더욱 생각하지 못했습니다. 그의 아이디어는 간단하면서도 복잡하다.우리는 개발자들이 사용하고 싶어하는 제품을 만들고 싶습니다.

천재들의 모임 + 21개월 만에 OneFlow 첫 버전 출시

2017년 1월, 위안진후이는 일류과학기술을 창립하고, 30여 명의 엔지니어를 모아 원플로우의 공식적인 "팀 배틀"을 시작했습니다. 모두가 어려움을 예상했지만, 개발이 진행되면서 나타난 많은 어려움은 여전히 팀의 기대를 뛰어넘는 수준이었습니다.

딥러닝 프레임워크의 기술은 매우 복잡하며, OneFlow는 참조할 만한 전례가 없는 완전히 새로운 기술 아키텍처를 채택했습니다. 기술적인 개념을 구현하는 데만 거의 2년이 걸렸습니다.

2018년 가을, 일류기술 개발은 가장 어려운 단계에 접어들었습니다. 제품 개발이 지연되고, 일부 직원들의 인내심과 자신감이 고갈되었으며, 회사의 다음 자금 조달은 우여곡절이 많았기 때문에 팀의 사기와 자신감이 큰 어려움에 직면해 있습니다.

창업계에서는 '18개월의 저주'라는 말이 있습니다. 1년 반 동안 희망도 없고 긍정적인 피드백도 없으면 창업팀의 사고방식이 바뀌고 인내심을 잃게 된다는 뜻입니다. 원진휘는 더 이상 기다릴 수 없다는 것을 깨달았다.OneFlow는 가능한 한 빨리 실제 상황에서 사용되어야 하며, 이를 통해 모든 사람이 OneFlow의 혁신이 실제로 가치 있다는 것을 알 수 있어야 하며, 이를 통해 긍정적인 피드백을 형성해야 합니다.

2018년 9월, 1년 9개월간의 연구개발 끝에위안진후이와 그의 팀은 OneFlow의 폐쇄형 소스 버전을 출시했습니다.당시 OneFlow는 아직 오픈 소스가 아니었고 규모에 따른 문제가 있었지만, 제품이 공식적으로 출시되면서 마침내 팀원들은 마음의 평화를 얻었습니다.

대규모 훈련에 집중하며, 그 효율성은 유사한 프레임워크보다 훨씬 뛰어납니다.

2018년 11월, First-Class Technology에 행운이 찾아왔습니다. 구글은 가장 강력한 자연어 모델인 BERT를 출시하여 NLP의 새로운 시대를 열었습니다. 이는 위안진후이의 예측이 사실임을 증명한다.대규모 학습을 처리하는 데 적합한 새로운 아키텍처는 필요하고 필수적입니다.

곧,일류 기술 엔지니어들이 OneFlow 기반 BERT-Large의 분산 학습을 지원했습니다.이는 당시 분산형 BERT-Large 학습을 지원하는 유일한 프레임워크였으며, 성능과 처리 속도가 기존 오픈소스 프레임워크를 훨씬 능가했습니다. 

OneFlow는 하룻밤 사이에 유명해졌고, 이를 통해 First-Class Technology는 선도적인 인터넷 기업 사용자들을 처음으로 모을 수 있는 기회를 얻었습니다. 놀랍게도,당시 위안진후이는 "아직 제품에 만족하지 못했기" 때문에 극히 낮은 수준의 길을 선택했습니다.

2018년 9월 클로즈드 소스 버전이 출시된 이후 2020년 7월 공식 오픈 소스 버전이 출시될 때까지 위안진후이는 OneFlow를 다듬는 데 22개월을 더 투자했습니다.그와 그의 팀은 예상치 못한 문제를 해결하면서 고전적인 모델을 최적화하는 작업을 계속했습니다.위안진후이의 견해로는, 제품 문서가 잘 작성되어 있지 않더라도 OneFlow를 쉽게 내놓지는 않을 것입니다.

2020년 7월 31일, OneFlow가 공식적으로 GitHub에 오픈 소스로 공개되었습니다.대규모 모델을 훈련하는 능력으로 유명한 이 오픈소스 프레임워크가 두 번째로 주목을 받으며, "효율성이 최고다"라는 말을 완벽하게 입증했습니다.

더 빠른 학습 속도, 더 높은 GPU 활용도, 더 높은 다중 머신 가속 비율, 더 낮은 운영 및 유지 관리 비용, 더 쉬운 사용자 경험.OneFlow는 5가지 강력한 장점을 통해 다양한 시나리오에 빠르게 적응하고 빠르게 확장할 수 있습니다. 위안진후이와 그의 팀은 OneFlow의 성능을 추구하고 최적화하는 데 있어 정점에 도달했습니다.

최근 OneFlow는 v0.2.0 버전을 출시했습니다.최대 17개의 새로운 성능 최적화가 추가되었습니다.이를 통해 CNN과 BERT의 자동 혼합 정밀도 학습 속도가 크게 향상됩니다.

개발팀은 또한 실험 환경, 실험 데이터, 재현 가능한 알고리즘을 완전히 오픈 소스화하는 DLPerf라는 오픈 소스 프로젝트를 구축했습니다.ResNet50-v1.5 및 BERT 기반 모델에서 OneFlow와 기타 여러 주류 프레임워크의 처리량과 속도 향상 비율은 동일한 물리적 환경(V100 16G x8 머신 4대)에서 평가되었습니다.

실험 결과에 따르면 OneFlow의 처리량은 단일 머신과 단일 GPU 모두에서 다른 프레임워크보다 상당히 앞서 있으며, 여러 머신과 여러 GPU에서도 다른 프레임워크보다 훨씬 앞서서 주류 플래그십 그래픽 카드(V100 16G)에서 ResNet50-v1.5 및 BERT 기반 모델을 훈련하는 데 가장 빠른 프레임워크입니다.OneFlow ResNet50-v1.5 AMP 단일 카드는 NVIDIA의 심층적으로 최적화된 PyTorch보다 80% 더 빠르고 TensorFlow 2.3보다 35% 더 빠릅니다.

구체적인 평가 보고서는 다음 링크에서 확인할 수 있습니다.

https://github.com/Oneflow-Inc/DLPerf

의심에 직면하고 트랙에서 "소수자"가 됨

사실, OneFlow는 출시 이후 많은 의문을 받아왔습니다."늦게 탑승하고 거주 공간이 좁다"는 의견이 가장 주류를 이룬다.이에 대해 원진휘는 비상한 침착함을 보였다.

그의 의견으로는, 딥러닝 프레임워크는 새로운 것이고, 기술과 산업 모두 초기에서 중기 단계에 있기 때문에 조기에 도입하거나 늦게 도입할 문제는 없습니다. 기술이 융합되기 전에,성능이 뛰어나고, 사용 편의성이 뛰어나며, 사용자 친화적인 가치를 지닌 제품이 사용자에게 선호될 것입니다.

거주 공간이 줄어든다는 생각은 완전히 거짓입니다.오픈 소스는 소규모 기업과 대규모 기업의 제품이 공정하게 경쟁할 수 있게 해줍니다.뛰어난 새로운 프레임워크는 권위 있는 프레임워크에 도전하는데, 이는 오픈 소스 정신의 핵심 요소 중 하나입니다.

의심은 OneFlow의 개발을 방해하지 않았습니다. 오히려,위안진후이와 그의 팀은 OneFlow의 업그레이드와 개선을 가속화하고, 성능을 업데이트하고 최적화하고, 개발자 문서를 정리하고, 커뮤니티 피드백을 수집했습니다.이러한 노력과 끈기 덕분에 처음에는 "회의론자"였던 사람들을 포함해 더 많은 사용자가 OneFlow를 이용하게 되었습니다.

COSCon'20 중국 오픈소스 연례 컨퍼런스에서 위안진후이는 "딥러닝 학습 시스템의 진화"라는 제목으로 프레젠테이션을 진행했습니다.모든 개발자에게 OneFlow의 다음 개발 계획을 소개했습니다. 효율성을 최우선으로 하고 지속적인 성능 최적화를 고집하는 것 외에도,개발팀은 사용자의 학습 및 마이그레이션 비용을 줄이기 위해 노력하고 있습니다.현재 PyTorch 사용자가 OneFlow로 마이그레이션하는 비용은 이미 상당히 낮습니다. 두 가지의 사용자 인터페이스가 거의 동일하고, 학습된 모델을 OneFlow로 변환하는 비용도 충분히 낮기 때문입니다.

객관적으로 보면 OneFlow는 완성도와 사용 편의성 측면에서 여전히 TensorFlow와 PyTorch보다 뒤처져 있습니다. 그러나 OneFlow는 높은 효율성, 우수한 확장성, 분산된 사용 편의성이 특징입니다.대규모 얼굴 인식, 대규모 광고 추천 시스템, GPT-3와 같은 거대한 모델 매개변수를 사용하는 모델 학습 시나리오에 매우 적합합니다.

인터뷰를 마치며 위안진후이 씨는 인재에 대한 열망을 숨기지 않았다. 그는 OneFlow가 머신 러닝 엔지니어와 딥 러닝 엔지니어를 모집하고 있으며, 승리에 열망하는 이 활기찬 팀에 합류할 통찰력 있는 사람들을 매우 환영한다고 말했습니다.

-- 위에--