[OSCAR 오픈소스 산업 컨퍼런스 서브포럼] 오픈소스 빅모델은 어디로 가고 있는가?
두 달 후면 ChatGPT가 1주년을 맞이하게 됩니다. 최초의 종류의 AI 모델인 ChatGPT는 수천 개 산업의 중추 신경계를 꿰뚫는 자극제와 같아 전 세계적으로 전례 없는 AI 군비 경쟁을 촉발했습니다.
작년에는 GPT-3.5가 멀티모달 GPT-4로 진화했고, 5,620억 개의 매개변수를 가지고 있다고 주장하는 Google PaLM은 매개변수 규모가 더 작고 효율성이 더 높은 PaLM 2로 전환했습니다. 우리는 Meta가 대형 모델인 Llama를 오픈 소스로 공개하는 것을 보았고, 이를 통해 Alpaca, Vicuna, Koala, Falcon을 포함한 여러 저가형, 소규모 모델이 탄생했습니다. 알파카 가족…
단 몇 달 만에 오픈소스 빅모델 커뮤니티는 번성하여 폐쇄소스와 경쟁하는 조짐을 보이고 있으며, 심지어 구글을 충격에 빠뜨리고 구글이 "해자가 없다"는 걱정을 하게 만들기도 했습니다.7월에 Meta는 상업적으로 무료로 사용할 수 있고 GPT-3.5와 비슷한 성능을 제공하는 오픈 소스 버전인 Llama 2를 출시했는데, 이는 대규모 모델 환경을 직접적으로 뒤집습니다.Llama 2만큼 자체 개발 수준이 좋지 않은 몇몇 폐쇄형 대형 모델이 실패했습니다.
이에 많은 사람들은 "모두가 안드로이드의 대형 모델을 갖게 될 때가 온다"고 외쳤습니다. 하지만 우리는 또한 그것을 보아야 합니다.오픈소스 빅모델의 밝은 전망 속에는 인재, 조직, 데이터, 상업적 제약 등 여러 과제가 존재합니다.해외를 살펴보면, 라마2만큼 강력한 오픈소스 대형 모델이 있습니다. 국내 오픈소스 대형 모델들은 언제쯤 따라잡을 수 있을까요? 오픈 소스와 클로즈드 소스 간의 논쟁은 결국 큰 모델을 어디로 이끌 것인가?
저자 | 탑
편집자 | 산양
9월 21일 중국정보통신기술원과 중국통신표준협회가 공동으로 「2023 OSCAR 오픈소스 산업 컨퍼런스」Segmentfault와 HyperAl이 공동으로 주최한 베이징에서 열린 "오픈소스 빅모델" 포럼에서과학 연구, 산업 및 투자 커뮤니티의 전문가들은 "오픈 소스 빅 모델 개발의 기회와 과제"에 관해 전방위적이고 다각적인 교류와 토론에 참여했습니다.
이 원탁토론에 참석한 세 명의 게스트는 다음과 같습니다.왕 웨이, 동중국사범대학 데이터 과학 및 공학 대학 교수이자 오픈 소스 협회 이사. 앤트 그룹의 수석 기술 전문가, 샤 지안(Sha Jian) 유명 투자 기관의 부사장인 쉬카이융; 진행자는 OpenBayes Bayesian Computing의 창립자이자 CEO인 왕 천한입니다.
왼쪽에서 오른쪽으로:
진행자: OpenBayes Bayesian Computing의 창립자 겸 CEO 왕첸한
동중국사범대학 데이터과학 및 공학부 교수, 오픈소스학회 이사 왕 웨이
Ant Group의 수석 기술 전문가 모래 검
유명 투자 기관의 부총괄 관리자 쉬 카이용
아래 링크를 클릭하면 포럼으로 바로 이동합니다 ☟
원래 의도를 훼손하지 않고 이 대화의 주요 내용을 요약하여 아래에 나열했습니다. 이제 전문가의 놀라운 통찰력을 들어보세요.
오픈소스 빅모델의 최신 진행 상황에 대한 논의
작년에 ChatGPT를 출시한 이후 지금까지 우리는 GPT-4가 국제적으로 출시되고, Claude Anthropic이 후속 조치를 취하고, 오픈 소스 커뮤니티에서 Llama 제품군이 빠르게 업데이트되는 것을 보았습니다. 중국에서는 여러 지역화된 모델 기업이 등장했고, 오픈소스 커뮤니티 역시 아름다움을 위해 경쟁하고 있습니다. 이 모든 것은 대형 모델의 개발이 매우 빠르다는 것을 나타냅니다. 여기에 참석한 세 명의 교사는 각각 과학 연구, 산업, 투자 분야 출신입니다. 우리는 여러분께서 대형 모델 분야의 현재 상황과 미래 개발 동향을 다양한 관점에서 평가해 주시기를 요청드리고자 합니다. Q1: 전체 오픈소스 커뮤니티와 GPT-4의 격차는 얼마나 큽니까? 오픈소스 커뮤니티의 업적 총합이 상업 회사의 가장 진보된 수준을 넘어서는 전환점이 있을까요?
왕 웨이:사람들은 종종 오픈 소스와 클로즈드 소스를 서로 반대되는 접근 방식으로 사용합니다.하지만 저는 개인적으로 이 두 가지 접근 방식이 실제로는 다른 사업 전략을 나타낸다고 생각합니다.오픈소스 기업조차도 막대한 자원을 투자해야 합니다. 뒤처진 기업은 오픈소스를 통해 선두 기업을 따라잡을 수 있고, 선두 기업 역시 오픈소스를 통해 다각적인 관점을 얻을 수 있습니다.
장기적인 발전의 관점에서 볼 때, 상용화는 매우 중요합니다. 상용화를 넘어, 오픈 소스는 단기적으로 생태계나 개발자 커뮤니티를 확장하려는 경우 엄청난 이점을 제공합니다. Llama 2가 2023년에 오픈 소스로 공개된 이후 많은 개발자를 유치했을 뿐만 아니라 툴 체인, 산업, 평가 분야의 많은 전문가를 끌어들여 OpenAI에 어느 정도 압박을 가했습니다.
오픈 소스의 가장 큰 장점은 모든 사람이 무엇을 하려는지, 어떻게 할 것인지 볼 수 있다는 것입니다.학교의 관점에서 볼 때, 오픈 소스는 대학 학자들에게 편리한 연구 채널을 제공하여 가치 있는 연구 결과를 창출하고, 이는 결국 오픈 소스 기술의 발전을 촉진합니다.그래서 저는 오픈 소스가 좋은 사업 전략이라고 늘 생각해 왔습니다.
모래 검:업계의 관점에서 볼 때, 대형 모델은 지난 2년 동안 빠르게 발전했습니다. 중대한 기술적 혁신이나 획기적인 발전이 없다면,실제로, 모델 구조 자체는 정규화되는 경향이 있습니다.
상업 회사의 경우, 오픈 소스 모델은 자체 영향력을 높이고 기술 반복을 가속화하는 데 도움이 됩니다. 반면, 모델 효과의 관점에서 보면 모델은 학습 데이터와 학습 방법과 더 관련이 있으며, 폐쇄형 소스 회사는 이런 측면에서 많은 고유한 특징을 가질 수 있습니다.
하지만 오랜 역사를 돌이켜보면,우리는 어떠한 기술적 종결도 역사의 진보를 방해하지 못할 것이라고 늘 믿습니다.결국에는 폐쇄형 소스 기업의 기술을 계속 숨겨둘 필요가 없게 될 것입니다.
쉬 카이융:투자 커뮤니티의 관점에서 보면,오픈소스는 확실히 클로즈드 소스를 따라잡을 것이지만, 구체적인 시점은 예측하기 어렵습니다.하지만 저는 개인적으로 오픈소스가 향후 2~3년 안에 클로즈드 소스를 따라잡을 수 있을 것이라고 생각합니다. 모델 자체 측면에서 클로즈드 소스는 선두주자로서 큰 이점이 없기 때문입니다.
선두주자의 이점은 일반적으로 두 가지 범주로 나뉩니다.예를 들어, 칩 제조가 7나노미터에서 3나노미터로 진보하면, 후발주자도 고정된 개발 경로를 따라야 합니다. 하지만 큰 모델 자체는 이 경로를 따르지 않습니다. 큰 모델에는 두 가지 중요한 측면이 포함됩니다.하나는 데이터이고, 다른 하나는 훈련 방법입니다.
현재는 OpenAI와 같은 첨단 폐쇄 소스 기업이 학습 방법을 담당하고 있지만, 커뮤니티에서 더 나은 솔루션을 찾거나 폐쇄 소스 기업의 직원들이 커뮤니티를 떠나 오픈 소스 커뮤니티에 합류하면 오픈 소스 방법이 빠르게 인기를 얻을 것입니다. 그러므로 대형 모델 자체에는 선두주자 장벽이 그다지 많지 않습니다. 이것이 첫 번째 요점입니다.
두 번째는 네트워크 효과입니다.예를 들어, 공동구매 앱에는 많은 판매자와 사용자가 있기 때문에 네트워크 효과가 있습니다. 하지만 빅모델 자체는 그런 특징이 없기 때문에, 폐쇄형 빅모델 기업은 네트워크 효과라는 장벽 이점을 갖지 못합니다.
그러므로 저는 오픈소스가 확실히 클로즈드 소스를 능가할 것이라고 생각하지만, 시기는 현재의 상황과 진행 상황에 따라 달라질 것입니다.
중국의 오픈소스 빅모델 분야는 두 가지 발전 방향을 보이고 있다는 것을 알 수 있습니다. 하나는 국제적으로 선진화된 빅모델의 발자취를 따르는 것입니다. 예를 들어, 어떤 사람들은 라마의 현지화 작업을 수행하고 있습니다. 다른 하나는 바이촨 인텔리전스(Baichuan Intelligence)와 같은 팀을 이끌어 자체적인 중국 대형 모델을 출시하는 것입니다. 전반적으로 중국 분야의 대형 모델 개발은 폭발적으로 증가하고 있지만, 데이터 평가 관점에서 볼 때 중국 커뮤니티의 활동과 국제 커뮤니티 사이에는 여전히 일정한 격차가 존재합니다. Q2: 전문가들은 중국 대형 모델 분야에서 오픈소스의 현재 진행 상황을 어떻게 보고 있나요? 폐쇄형 소스를 따라잡는 것인가, 아니면 독창적인 기여를 하는 것인가? 각각의 비율은 어떻게 되나요? 중국의 대형 모델 분야에서 오픈소스 분위기는 어떤가요?
왕 웨이:우리는 종종 무의식적으로 중국의 오픈소스 환경과 분위기를 서구의 그것과 비교합니다.사실, 오픈소스 자체는 글로벌 현상입니다.즉, 세계 어디에서나 접근, 배포, 수정이 가능하다는 의미입니다.
오픈소스는 유럽과 미국에서 시작되었으며, 리눅스와 아파치 재단이 설립된 지 수십 년이 흘렀습니다. 반면, OSCAR와 같은 대규모 오픈소스 컨퍼런스는 중국에서는 이제 막 시작 단계에 있지만, 매년 지부 행사장에서 발표되는 다양한 성과에서 볼 수 있듯이 우리는 큰 진전을 이루었습니다. 더불어 중국에서 오픈소스에 대한 관심도 날이 갈수록 높아지고 있으며, 현재 중국에서는 점점 더 많은 사람들이 글로벌 오픈소스에 기여하고 있습니다.
뿐만 아니라,중국 모델은 세계적으로 매우 독특한 혁신입니다.중국어는 매우 독특하고 풍부한 언어이며 화자 계층도 넓습니다. 우리가 중국 모델을 만든 것은 대립이나 경쟁이 아니라 문화적 다양성을 반영한 것입니다. 또한 국제적으로 다국어 평가 및 응용 프로그램이 많이 있으며, 대규모 모델에 따라 폭넓은 적용 가치가 있는 국제 중국어와 같은 과정 및 프로젝트도 있습니다.
중국 대규모 모델의 구체적인 범위를 평가하려면, 저는 개인적으로 최종 적용 결과를 살펴봐야 한다고 생각합니다. ChatGPT가 트리거한 이번 AIGC 라운드가 인기 있는 이유는 텍스트와 그래픽 생성에 상당한 이점이 있기 때문입니다. 중국의 대모델이 교육이나 국제교류 등 보다 나은 응용 시나리오에 적용될 수 있다면, 그 영향력과 발전은 자연스럽게 반영될 것입니다.
모래 검:우선 평가 측면에서 초기 ChatGPT-4에는 다국어 평가가 있었습니다. 사실, 여러 언어에서 모두 통용될 수 있지만, 주류 언어에서는 성과가 더 좋을 수 있고, 비주류 언어에서는 성과가 나쁠 수 있습니다.
이 단계에서 많은 중국 기관이 중국 모델을 개발해야 할 필요성은 다음과 같습니다.국가와 기업의 관점에서 볼 때, 그들은 모두 핵심 기술을 습득하기를 바랍니다.다른 사람의 서비스에 직접 전화하는 것과 비교해도 비용이 더 많이 든다고 해서 당장 더 나은 결과가 나오는 것은 아닙니다.
둘째, 커뮤니티 관점에서 볼 때, 오픈소스 커뮤니티를 포함한 중국 커뮤니티 전체의 분위기는 실제로 서구의 분위기만큼 좋지 않습니다. 하지만 실제로 아파치와 리눅스 재단을 포함한 많은 서양 재단이 이제 중국에 지사를 설립하고 있습니다. 이런 유명한 외국 재단과 중국 지사가 중국 커뮤니티를 주도할 것으로 기대된다. 우리는 실제로 영향력 있는 지역 재단이 자체적인 지역 사회를 개발하는 모습을 보고 싶습니다.
쉬 카이융:저는 아직도 중국 대형 모델과 외국 대형 모델 사이에 격차가 있다고 생각합니다. 해외 대형 모델은 여러 언어를 지원하는 반면, 국내 개발은 느립니다. 게다가 중국 내 학생 중 숙제, 에세이 쓰기, 수학 문제 풀이에 중국어 대언어 모델을 활용하는 학생은 거의 없지만, 해외에서는 이런 현상이 실제로 매우 흔합니다.
이는 국내 대형 모델이 가끔 실수를 하는 경우가 많고, 사용자들이 이를 더 많이 놀리는 경향이 있기 때문일 수도 있습니다.그래서 저는 중국 대형 모델이 아직 갈 길이 멀다고 생각하지만, 중국어는 고유한 언어적 특성을 가지고 있으며, 여전히 국내 대형 모델의 생존과 발전에 많은 기회가 있다고 생각합니다.
이제 사람들은 빅모델 자체뿐 아니라 데이터 세트, 훈련 방법, 칩 기반, 칩 클러스터 관련 소프트웨어, 추론 관련 소프트웨어 생태계를 포함한 빅모델 구축 생태계 전반의 다른 프로젝트에도 점점 더 많은 관심을 기울이기 시작했습니다. Q3: 선생님, 오픈소스 빅모델 분야에서 다른 도구 구성 요소나 상업 회사에 주목하고 계신가요?
왕 웨이:생태학 외에도,저는 또한 법률, 규제 및 규정 준수 관련 문제에 중점을 둡니다.
학교의 관점에서 보면, 기업의 사회적 영향은 기업의 발전보다 더 중요합니다. 특히 대규모 모델의 경우 거버넌스, 규정 준수, 윤리와 같은 문제에 대해 자주 이야기합니다. 대형 모델은 더 이상 특정 산업에만 속하는 단순한 기술이 아닙니다. 누구나 이를 이용해 텍스트와 그림을 생성할 수 있습니다. 그러나 엄청난 영향력만큼 잠재적인 보안 문제도 있습니다.
이러한 질문은 데이터와 기술 도구에 매핑됩니다.예를 들어, 학습 모델의 데이터 품질, 개인정보 보호 및 보안을 위해서는 엔지니어의 노력뿐만 아니라 변호사와 같은 전문가의 강력한 지원도 필요합니다.함께 이 기반을 쌓아가자. 이를 바탕으로 위의 칩 계층, 소프트웨어 및 기타 콘텐츠에 집중하겠습니다.
기술적인 측면에서 저는 기본 툴 체인에 더 관심이 있습니다.이러한 툴 체인은 상업 회사처럼 직접적인 상업적 가치가 없을 수도 있고, 대학은 이런 일을 할 수 있는 더 많은 기회를 갖게 될 것입니다. 현재 복단대학 등 많은 대학에서 기본적인 소프트웨어를 구축하고 있는데, 이는 우리나라에 현재 부족한 부분입니다. 이러한 툴 체인 자체는 상업적 가치가 크지 않지만 핵심적이고 중요한 기본 요소입니다. 그러므로 학교의 관점에서 볼 때, 우리는 이러한 문제와 이전에 언급한 윤리적 준수 문제에 더 많은 주의를 기울입니다.
모래 검:소프트웨어와 하드웨어의 관점에서 대형 모델의 상류와 하류에 미치는 생태와 영향에 대해 설명하겠습니다.
큰 모델에 대한 해석은 다양합니다. 알고리즘 개발자의 관점에서 큰 모델이란 일반적인 작업을 해결하는 알고리즘 모델을 의미합니다. 공학적 관점에서 볼 때, 큰 모델은 그저 클 뿐입니다. 컴퓨팅 능력, 데이터, 매개변수의 수는 모델 성능의 상한을 결정합니다.하지만 이제 많은 연구가 대형 모델의 경량화에 초점을 맞추기 시작했습니다. 이는 많은 매개변수가 필요하지 않기 때문이 아니라 소프트웨어와 하드웨어 계층이 따라잡을 수 없기 때문입니다.
소프트웨어, 하드웨어, 알고리즘의 전체 역사적 순환은 실제로 나선형이며 상호 강화되는 개발 과정이지만, 이제 대규모 모델이 실패하면서 소프트웨어, 특히 하드웨어 비용이 매우 높아졌습니다.
현재 대규모 모델의 상용화에 영향을 미치는 가장 큰 문제는 추론 비용입니다.훈련 비용이 가장 큰 측면이기는 하지만, 훈련 속도가 느리더라도 실행 가능합니다. 결국 이 과정은 오프라인이며, 한 달간의 훈련으로 수천억 바이트의 모델을 생성할 수 있습니다. 하지만 그 이유는 다릅니다. 예를 들어, QPS가 몇 초에 한 개 또는 1분에 한 개씩 달성되고, 전국 수십억 명의 사람들에게 무료로 제공된다면 비용이 너무 많이 들 것입니다. 충전이 되어 있으면 사용자를 잃어버릴 수 있는데, 이것이 가장 큰 문제입니다.
현재 전국의 모든 정당이 이러한 문제를 해결하기 위해 열심히 노력하고 있습니다.하드웨어 수준에서미국의 탄압으로 인해 우리가 사는 카드는 사실상 거세된 버전이며, 대기업들도 국내 카드의 적용을 모색하고 있습니다. 제가 보기에 국내산 카드의 연산능력에 대한 각종 지표는 모두 좋은 편입니다.
소프트웨어:CUDA를 기반으로 구축된 NVIDIA의 GPU 생태계 기반 소프트웨어 스택은 상위 레벨의 학습 프레임워크부터 기반 연산자 라이브러리까지 포괄하여 여전히 강력한 우위를 점하고 있지만, 국내 하드웨어 제조업체가 넘어야 할 거대한 산이기도 합니다. 모든 주요 하드웨어 회사는 자체 소프트웨어 스택을 개발하고 다양한 전략을 채택하고 있습니다.
하지만 사용자와 개발자의 관점에서 보면,저는 그들이 컴파일러 수준에서 자체 생태계를 더욱 적응시키고, 사용자 수준에서 주류 오픈소스 프레임워크로 수렴하여 사용자들이 성능 향상을 체감할 수 있기를 여전히 바랍니다.현재로서는 이런 추세가 주류를 이루고 있는 듯하지만, 대기업들은 각자의 사업 전략상 완전한 합의에 도달하기는 어렵습니다.
따라서 소프트웨어와 하드웨어 수준에서 현재 수요를 따라잡으려면 시간과 기술적 혁신이 필요합니다. 이것은 도전이지만, 동시에 큰 기회이기도 합니다.
쉬 카이융:투자 커뮤니티는 해당 모델의 상류와 하류 및 관련 산업에 세심한 주의를 기울입니다.
예를 들어모델 하단 레이어, 우리는 3D 네트워크와 RDBMS와 같은 인프라 계층의 몇 가지 기회를 살펴볼 것입니다. 그리고애플리케이션 계층재무 보고서 및 공고의 자동 판독, 금융 산업의 자동 요약, 산업 분야의 오류 감지, 전용 데이터베이스를 보유한 기업, 단일 문제 또는 일련의 문제를 해결하기 위해 대규모 모델이나 대규모 모델에서 추출한 소규모 모델을 제공하는 스타트업 등 일부 수직 산업의 기회에 집중할 것입니다.
대형 모델의 상류와 하류 외에도 투자자들은 대형 모델이나 인공지능의 새로운 가능성도 살펴볼 것입니다.예를 들어, 저는 최근 오픈소스와 양자 컴퓨팅 관련 분야도 살펴보고 있습니다. 기존의 인공지능은 비용이 증가함에 따라 성능이 선형적으로 증가하는 대규모 모델을 포함하는 반면, 양자 컴퓨팅은 기하급수적으로 성장하기 때문입니다.
지난 10~12년 동안 미국 나스닥에 상장된 기업들 중에는 오픈소스 기술(혹은 상장사 모회사 기반)을 기반으로 탄생한 기업들이 꽤 있었습니다. 대표적인 예로 Apache, Mongo DB 등이 있습니다. 오픈소스에 투자한 이들 기업들은 좋은 사업적 가치와 수익을 달성했음을 알 수 있습니다. 하지만 중국을 살펴보면 오픈소스 생태계에 투자하는 중국 기업은 거의 없고, 상장이나 주도권 확보 단계에 들어간 기업은 더욱 적습니다. Q4: 선생님 여러분, 중국의 오픈소스 생태계의 비즈니스 모델이 정말 효과가 있었나요? 성공적인 사업 사례가 있나요? 그렇다면 대형 모델이 이런 추세를 촉진하는가? 그렇지 않다면, 더 큰 모델이 이러한 추세에 포함될 가능성이 있을까요?
쉬 카이융:중국에는 기본적으로 오픈소스 상장기업이 없지만, 해외에는 오픈소스 상장기업이 많이 있습니다.저는 중국과 미국의 오픈소스 목록 결과의 주요 차이점은 인재 요소에 있다고 생각합니다.미국은 세계적인 인재를 끌어들이는 나라이며, 열린 사고방식과 독특한 통찰력을 가지고 있습니다. 오픈소스 프로젝트를 시작한 사람들은 대부분 실리콘 밸리 출신이다.
중국에는 오픈 소스에 참여하는 개발자/의견 선도자가 많이 있습니다. 아직까지 오픈소스 상장 기업은 없지만, 특히 대형 모델 분야에서는 앞으로 가능할 것으로 생각합니다.
현재 전 세계를 살펴보면 대형 모델을 만들 수 있는 나라는 중국과 미국뿐입니다. 중국에서 우리가 직면한 경쟁은 더 직접적이지만, 지난 몇 년 동안 우리는 많은 컴퓨터 인재를 양성했고, 오픈 소스 참여자가 점점 더 많아지고 있습니다.그러므로 오픈소스 분야에서는 상장기업을 만들 수 있는 기회가 여전히 존재합니다.
모래 검:중국에는 성공적인 오픈소스 프로젝트가 없는 듯하지만, 잘 알려진 오픈소스 프로젝트와 스타트업은 분명히 있습니다.
실리콘 밸리의 분위기는 실제로 더 좋습니다. 결국, 그것은 오랜 세월에 걸쳐 발전해 왔습니다. 또한, 해외 오픈소스 재단과 투자 기관은 커뮤니티 협업과 상업적 육성을 포함하여 잠재적인 오픈소스 프로젝트를 위한 우수한 육성 및 안내 메커니즘을 갖추고 있습니다. 훌륭한 프로젝트 중에서도 크게 성장하지 못한 프로젝트도 있을 수 있다. 우리는 여전히 따라잡기 위한 과정이 필요하며, 국가는 교육을 포함한 이러한 분야에 대한 투자를 계속해야 합니다.
중국의 이 급성장하는 산업에서회사가 상장을 원한다면, 우선 상대적으로 깊이 있는 기술 축적이 필요하고, 둘째로 시간의 시련을 견뎌낼 수 있는 사업 모델이 필요합니다.저는 많은 훌륭한 오픈소스 프로젝트가 자신의 제품을 통해 수익을 창출하는 방법을 알아내지 못했다는 것을 알게 되었지만, 이것이 실제로 가장 중요한 것입니다.
왕 웨이:저는 세 가지 요점을 말씀드리고 싶습니다. 첫 번째는 상업적 성공입니다.저는 상업적 성공이 오픈 소스 여부와 반드시 관련이 없다고 늘 믿어왔습니다.상업적인 측면에서 보면, 시장에서 필요한지, 고객의 요구를 충족시키는지에 더 많이 달려 있는 반면, 오픈 소스는 이제 홍보 전략에 더 가깝습니다.
두 번째 요점은 대형 모델의 오픈 소스가 무엇을 의미하는가입니다.모델 오픈소스는 소프트웨어 코드 오픈소스와 다릅니다.모델이 오픈 소스로 공개되면 개발자와 사용자가 이를 바탕으로 무엇을 할 수 있는지 보는 것은 우리에게 새로운 경험입니다. 모델 오픈소스는 모델을 다운로드하고 사용하는 방법이지만, 새로운 문제도 발생하며 기존의 오픈소스 정의나 프레임워크를 적용하기 어렵다는 단점이 있습니다. 따라서 이 모델을 기반으로 커뮤니티와 생태계를 어떻게 구축할 것인가는 완전히 새로운 문제입니다.
개인적으로 제가 가장 신경 쓰는 부분은 인재 양성인데, 오픈 소스가 인재 양성에 매우 도움이 된다고 믿습니다.
첫째, 대학생들이 최첨단 기술에 더욱 빠르게 접근할 수 있게 해줍니다.Llama가 출시된 후 많은 대학에서 즉시 배포하고 세부적으로 조정하고, 각자의 분야와 관련된 콘텐츠를 추가했는데, 이 모든 것이 오픈 소스의 이점을 얻었습니다.
둘째, 오픈소스 협업 모델은 순수한 기술 교육보다 학생 교육에 더 유용합니다.이 수업은 학생들의 의사소통 능력을 크게 향상시키고, 파트너와 경쟁적이고 협력적인 관계를 구축하는 방법을 가르쳐 주는데, 이는 바로 중국 학생들에게 부족한 점입니다. 중국에는 해외만큼 성숙한 오픈소스 프로젝트가 부족합니다. 한편으로는 언어적 문제 때문일 수도 있고, 다른 한편으로는 중국 사람들의 습관과 관련이 있을 수도 있습니다. 우리는 대중 앞에서 의견을 표현하는 데 그다지 능숙하지 않지만, 공동체에서는 몇 가지 사실에 근거하여 의견을 표현해야 합니다. 그러므로 오픈소스는 이 분야에서 학생들의 능력을 훈련하는 데 매우 도움이 됩니다.
저는 학생들에게 오픈소스 프로젝트와 커뮤니티, 특히 중국의 오픈소스 프로젝트에 참여하기를 강력히 권장합니다. 또한 저는 더 많은 기업이 지역 사회에 적극적으로 기여하는 학생들에게 더 많은 기회를 제공하기를 바랍니다.
과학 연구, 산업 및 투자 관점에서 본 오픈 소스 빅 모델
현재의 대규모 모델은 코드를 생성하는 기능을 갖추고 있으며 엔지니어링 아키텍처에 대한 제안도 제공할 수 있습니다. 사람들은 미래에 AI가 많은 일자리를 대체할 것이라고 말하는데, 특히 컴퓨터 분야에서 그렇다. 대규모 모델의 등장으로 인해 업무 패러다임이 어느 정도 바뀔 수도 있습니다. Q1: 왕웨이 교수는 오픈소스 선구자이자 화동사범대학의 학문적 리더로서, AI가 컴퓨터 분야 인재 양성 과정에 가져온 변화에 대해 어떻게 생각하십니까? 미래에는 대형 모델이 점점 더 강력해지는 추세에 직면하여, 학생과 인재 교육에서 어떤 기술을 향상시키는 데 중점을 둘 것인가요?
왕 웨이:우리는 현재 오픈 소스를 적극적으로 받아들이고 있습니다. 수업에서 사용되는 많은 프로젝트, 과목, 질의응답 상호작용은 GitHub 저장소를 사용하여 구현됩니다. 이제 큰 모델이 등장했지만, 우리의 태도는 변함이 없습니다.대형 모형으로 가능하다면 학생들에게 대형 모형을 사용하도록 권장합니다.또한 교사들에게도 이러한 관행에 동참할 것을 권장합니다.
컴퓨터 과학을 전공하는 학생과 교사의 경우, 단순히 대규모 모델을 사용하는 것만으로는 충분하지 않습니다. 더 나은 응용 프로그램과 도구를 개발할 수 있도록 모델의 원리를 이해해야 합니다. 미래에는 대형 모델이 일부 직업과 직종을 대체하게 될 것입니다. 산업 혁명과 마찬가지로 많은 근로자가 일자리를 잃었지만 동시에 새로운 산업과 직종이 생겨났습니다.그러므로 우리는 학생들에게 미래에는 확실히 더 많은 새로운 산업과 직업이 생길 것이며, 학교에 다니는 동안 이에 대비해야 하며, 준비는 이를 받아들이는 것부터 시작된다고 말합니다.
둘째, 기업가의 역할도 매우 중요합니다. 당신들은 일자리를 창출하는 조직입니다.대형 모델이 나온 이후, 프롬프트 엔지니어, 튜닝 엔지니어 등 새로운 직종도 생겨났습니다. 앞으로는 새로운 직책이 점점 더 많아질 것입니다.이는 기업가들이 창출하는 기회입니다.
Ant는 SOFA와 클라우드 기반 미들웨어에 대한 일련의 오픈 소스 작업 등 오픈 소스 생태계에서 많은 작업을 수행했습니다. 이러한 작업은 업계 전체의 클라우드 네이티브 지원을 위한 매우 좋은 생태적 기반을 제공한다고 할 수 있습니다. Q2: 샤 지안 교수님, 오픈 소스 빅 모델 분야에서 앤트의 미래 방향을 소개해 주시겠습니까? 동시에, 기술 전문가로서, 오픈소스 분야에서 Ant의 작업을 어떻게 평가하시나요? 그리고 이 작업이 Ant 회사 전체에 얼마나 많은 가치가 있다고 생각하시나요?
샤 지안: 앤트는 오픈 소스를 수용합니다.내부 프로젝트가 잘 육성되면 회사도 모든 사람이 오픈 소스를 사용하도록 장려할 것입니다. 이 회사는 이에 대한 상업적 지표를 갖고 있지 않지만, 기술의 영향력을 높이고 기술 회사의 이미지를 구축하는 데 더 중점을 두고 있습니다.
AI 또는 대규모 모델 분야의 라인업은 다음과 같이 몇 가지 부분으로 나눌 수 있습니다.
우선 가장 기본적인 것은 인프라인데, 이는 프로덕션 툴에 해당하며, 모든 것이 오픈소스가 될 것입니다. 이제 AI 학습 인프라의 첫 번째 단계가 DLRover에서 완전히 출시될 수 있으며, 추론 부분 전체와 GPU 가상화, GPU 클러스터, AIDC가 점진적으로 출시될 예정입니다.
애플리케이션 계층에서는 공식적으로 발표된 일부 대규모 모델은 데이터 문제로 인해 완전히 개방되지 않을 수 있지만, CodeFuse와 같은 일부 수직적 대규모 모델도 점차 오픈 소스화되고 있습니다. 이제 많은 팀이 점차 오픈 소스를 향해 움직이고 있습니다.
우리의 DLRover 프로젝트에 관해 말하자면, 우리는 왜 오픈 소스를 해야 하는지에 대해서도 생각하고 있습니다. 이 프로젝트의 잠재적인 사용 사례는 무엇입니까?
Alibaba Cloud와 Baidu Cloud와 같은 일부 클라우드 공급업체는 자체 서비스를 판매해야 하므로 자체 애플리케이션과 하드웨어를 개발합니다. 하지만 여전히 많은 기관에서는 하드웨어와 연구자를 보유하고 있지만, 이러한 하드웨어를 효율적으로 활용할 수 있는 전문적인 인프라 팀이 부족합니다. 이것이 바로 DLRover가 돕고자 하는 것입니다.이는 Ant에서 검증된 완전한 솔루션 세트를 제공하거나 권한을 부여하는 것과 같습니다.이는 잠재적인 가능성입니다. 또한, 개별 개발자와 같은 최종 사용자가 있는데, 이들은 당사의 구성 요소 중 하나를 별도로 실행할 수 있습니다. 그래서 청중층이 꽤 넓죠.
우리는 이런 사용자를 위해 프로젝트를 구축하고 싶지만, 이를 어떻게 상용화할지에 대한 목표나 미래에 상용화 가능할지에 대한 목표는 없습니다.
관찰에 따르면, 오픈소스 프로젝트에 투자하는 중국 인민폐 펀드는 매우 적고, 이전에는 중국에서 오픈소스에 투자하는 주요 세력도 일부 미국 달러 펀드였습니다. 쉬 씨가 근무하는 투자 기관은 중국을 대표하는 인민폐 펀드로, 다수의 AI 칩/빅모델 기업에 직간접적으로 투자했습니다. Q3: 좋은 출구 성과를 보인 펀드로서, 오픈 소스에 투자하는 것에 대한 귀하의 조직과 개인적인 생각은 무엇입니까? 앞으로 오픈소스 프로젝트에 투자하는 것에 대해 긍정적인 생각을 가지고 계신가요? 그 이유는 무엇인가?
쉬카이융: 오픈소스는 소프트웨어 산업에서 무시할 수 없는 힘입니다.저희 회사는 오픈소스 분야에도 진출해 있으며, 기술 소프트웨어 인프라, 데이터베이스, 데이터 거버넌스 등 관련 기업에 투자해 왔습니다. 저는 개인적으로 정보기술, 소프트웨어, 오픈소스를 믿습니다. 저는 대학에서 코딩을 시작한 이래로 오픈 소스의 수혜자이자 홍보자가 되어 왔습니다.
전체 펀드의 관리도 매우 개방적입니다. 우리는 오픈소스 분야에 대한 투자를 강력히 지지하며, 고품질 오픈소스 프로젝트의 발견에 지속적으로 주의를 기울이고 홍보합니다. 하지만 모든 투자 기관이 이렇게 열린 마음을 갖고 있는 것은 아닙니다. 일부 투자자는 오픈 소스를 제대로 이해하지 못하고 오픈 소스가 무료라는 의미라고 생각하는데, 이 때문에 오픈 소스에 투자하기 어려운 경우도 있습니다.
과거에는 오픈소스에 주로 미국 달러 펀드가 투자했지만, 지금은 미국 달러 펀드가 주류에서 사라졌습니다.그러면 인민폐 자금도 오픈소스 소프트웨어 투자의 깃발을 들어야 합니다.
미래 전망
오픈소스는 2021년에 처음으로 중국의 "제14차 5개년 계획"에 포함되었습니다. 평등, 개방성, 협력 및 공유를 기반으로 하는 탁월한 창의적 모델을 바탕으로, 오픈소스는 디지털 기술 혁신 촉진, 소프트웨어 생산 모델 최적화, 전통 산업의 변혁 및 업그레이드, 기업의 비용 절감 및 효율성 향상을 위한 중요한 동력으로 자리 잡고 있습니다.
최첨단 신기술의 대표로서 대형 모델은 전진을 위한 탐색 단계에 있습니다.오픈소스 커뮤니티는 세계 최고의 인재를 한자리에 모아 대규모 모델의 반복, 최적화 및 구현을 가속화하기 위해 협력할 수 있으며, 이를 통해 모든 산업 분야에서 고품질의 제품과 서비스를 통해 디지털 혁신과 비즈니스 성공을 촉진할 수 있습니다.
전반적으로 오픈소스 빅 모델은 무한한 기회를 가지고 있지만, 동시에 많은 어려움에 직면해 있습니다.현재 국내 대형 모델들이 시장 진출을 서두르고 있다. 수천 명의 모델 간의 치열한 경쟁에서 누가 돋보일까요?여러분의 의견을 댓글 섹션에 남겨주세요.
이 기사는 처음에 다음에 의해 게시되었습니다. 하이퍼AI위챗 공개 플랫폼~