[Unterforum Der OSCAR Open Source Industry Conference] Wohin Geht Die Reise Mit Dem Großen Open-Source-Modell?
In zwei Monaten feiert ChatGPT seinen ersten Geburtstag. Als erstes KI-Modell seiner Art ist ChatGPT wie eine Stimulanzienspritze, die das zentrale Nervensystem Tausender Branchen durchdringt und weltweit ein beispielloses KI-Wettrüsten auslöst.
Im vergangenen Jahr haben wir die Weiterentwicklung von GPT-3.5 zum multimodalen GPT-4 miterlebt, und Google PaLM, das angeblich über 562 Milliarden Parameter verfügt, hat sich in Richtung PaLM 2 entwickelt, das einen kleineren Parameterumfang aufweist und effizienter ist. Wir haben gesehen, wie Meta sein großes Llama-Modell als Open Source zur Verfügung gestellt und eine Reihe von günstigeren und kleineren Modellen hervorgebracht hat, darunter Alpaka, Vikunja, Koala und Falke. Alpaka-Familie…
Innerhalb weniger Monate ist die Community der großen Open-Source-Modelle gewachsen und zeigt Anzeichen einer Konkurrenz zu Closed Source. Dies schockiert sogar Google und weckt die Sorge, dass das Unternehmen keinen „Burggraben“ hat.Im Juli veröffentlichte Meta Llama 2, eine Open-Source-Version, die für die kommerzielle Nutzung kostenlos ist und eine mit GPT-3.5 vergleichbare Leistung aufweist, was die große Modelllandschaft direkt untergräbt.Es hat einige große Closed-Source-Modelle zerstört, deren selbstentwickeltes Niveau nicht so gut war wie das von Llama 2.
Viele Leute riefen daraufhin: „Die Zeit kommt, in der jeder ein großes Android-Modell haben wird.“ Aber wir sollten auch sehen, dassHinter dem positiven Bild des großen Open-Source-Modells verbergen sich jedoch auch eine Reihe von Herausforderungen, beispielsweise in Bezug auf Talent, Organisation, Daten und kommerzielle Einschränkungen.Im Ausland gibt es große Open-Source-Modelle, die so leistungsstark sind wie Llama 2. Wann werden die großen inländischen Open-Source-Modelle mit ihnen mithalten können? Wohin wird die Debatte zwischen Open Source und Closed Source das große Modell am Ende führen?
Autor | Turm
Herausgeber | Sanyang
Am 21. September veranstalteten die China Academy of Information and Communications Technology und die China Communications Standards Association gemeinsam „OSCAR Open Source-Branchenkonferenz 2023“Auf dem „Open Source Big Model“-Forum in Peking, das gemeinsam von Segmentfault und HyperAl veranstaltet wurde,Experten aus der wissenschaftlichen Forschung, der Industrie und der Investment-Community beteiligten sich an einem umfassenden und vielschichtigen Austausch und an Diskussionen über die „Chancen und Herausforderungen der Entwicklung großer Open-Source-Modelle“.
Die drei Gäste dieser Podiumsdiskussion sind:Wang Wei, Professor an der School of Data Science and Engineering der East China Normal University und Direktor der Open Source Society; Sha Jian, leitender technischer Experte der Ant Group; Xu Kaiyong, stellvertretender Generaldirektor einer bekannten Investmentinstitution; und der Gastgeber ist Wang Chenhan, Gründer und CEO von OpenBayes Bayesian Computing.
Von links nach rechts:
Moderator: Gründer und CEO von OpenBayes Bayesian Computing Wang Chenhan
Professor der School of Data Science and Engineering, East China Normal University, Direktor der Open Source Society Wang Wei
Leitender technischer Experte der Ant Group Sandschwert
Stellvertretender Generaldirektor einer namhaften Investmentinstitution Xu Kaiyong
Klicken Sie auf den Link unten, um direkt zum Forum zu gelangen ☟
Ohne die ursprüngliche Absicht zu verletzen, haben wir die Highlights dieses Gesprächs zusammengefasst und im Folgenden aufgelistet. Hören Sie sich jetzt gemeinsam mit uns die wunderbaren Einblicke der Experten an.
Diskussion über die neuesten Fortschritte bei großen Open-Source-Modellen
Seit der Einführung von ChatGPT im letzten Jahr haben wir die internationale Veröffentlichung von GPT-4, die Fortsetzung von Claude Anthropic und die schnelle Aktualisierung der Llama-Familie in der Open-Source-Community erlebt. In China sind zahlreiche lokalisierte Modellunternehmen entstanden und auch die Open-Source-Community konkurriert um Schönheit. All dies deutet darauf hin, dass die Entwicklung großer Modelle recht schnell voranschreitet. Die drei hier anwesenden Dozenten kommen aus der wissenschaftlichen Forschung, der Industrie und dem Investmentbereich. Wir möchten alle dazu auffordern, die aktuelle Situation und die zukünftigen Entwicklungstendenzen im Bereich der Großmodelle aus unterschiedlichen Perspektiven zu bewerten. F1: Wie groß ist die Kluft zwischen der gesamten Open-Source-Community und GPT-4? Gibt es einen Wendepunkt, an dem die Summe der Errungenschaften der Open-Source-Community den höchsten Entwicklungsstand jedes kommerziellen Unternehmens übertrifft?
Wang Wei:Open Source und Closed Source werden oft als zwei gegensätzliche Ansätze betrachtet.Ich persönlich bin jedoch der Meinung, dass diese beiden Ansätze tatsächlich unterschiedliche Geschäftsstrategien darstellen.Selbst Open-Source-Unternehmen müssen enorme Ressourcen investieren. Durch Open Source können rückständige Unternehmen zu den Spitzenreitern aufschließen und führende Unternehmen können durch Open Source ebenfalls vielschichtige Perspektiven gewinnen.
Aus Sicht der langfristigen Entwicklung ist die Kommerzialisierung sehr wichtig. Über die Kommerzialisierung hinaus bietet Open Source enorme Vorteile, wenn wir das Ökosystem oder die Entwickler-Community kurzfristig erweitern möchten. Seit Llama 2 im Jahr 2023 als Open Source veröffentlicht wurde, hat es nicht nur eine große Zahl von Entwicklern angezogen, sondern auch viele Fachleute aus den Bereichen Toolchain, Industrie und Evaluierung, was einen gewissen Druck auf OpenAI ausgeübt hat.
Der größte Vorteil von Open Source besteht darin, dass jeder sehen kann, was Open Source tun möchte und wie es getan werden soll.Aus der Sicht der Schulen bietet Open Source Universitätswissenschaftlern einen praktischen Forschungskanal und generiert dadurch wertvolle Forschungsergebnisse, die wiederum die Entwicklung der Open-Source-Technologie fördern.Deshalb war ich schon immer der Meinung, dass Open Source eine gute Geschäftsstrategie ist.
Sandschwert:Aus Sicht der Branche haben sich große Modelle in den letzten zwei Jahren rasant weiterentwickelt. Wenn es keine große technologische Welle oder einen Durchbruch gibt,Tatsächlich tendierte man dazu, die Modellstruktur selbst zu vereinheitlichen.
Für kommerzielle Unternehmen sind Open-Source-Modelle einerseits förderlich, um den eigenen Einfluss zu erhöhen und die technologische Iteration zu beschleunigen; Andererseits ist das Modell aus der Perspektive der Modelleffekte stärker mit Trainingsdaten und Trainingsmethoden verknüpft, und Closed-Source-Unternehmen verfügen in dieser Hinsicht möglicherweise über viele einzigartige Merkmale.
Aber wenn man auf die lange Geschichte zurückblickt,Wir sind immer davon überzeugt, dass ein technologischer Abschluss den Fortschritt der Geschichte nicht behindern wird.Irgendwann wird es nicht mehr nötig sein, die Technologie von Closed-Source-Unternehmen im Verborgenen zu halten.
Xu Kaiyong:Aus Sicht der Investment-CommunityOpen Source wird Closed Source definitiv einholen, aber der genaue Zeitpunkt ist schwer abzuschätzen.Ich persönlich glaube jedoch, dass Open Source in den nächsten zwei bis drei Jahren zu Closed Source aufschließen könnte, da Closed Source hinsichtlich des Modells selbst keinen großen First-Mover-Vorteil hat.
First-Mover-Vorteile lassen sich im Allgemeinen in zwei Kategorien einteilen:Wenn sich die Chipherstellung beispielsweise von 7 Nanometern auf 3 Nanometer fortsetzt, müssen auch Nachzügler einem festen Entwicklungspfad folgen. aber das große Modell selbst folgt diesem Weg nicht. Das große Modell beinhaltet zwei wichtige Aspekte:Das eine sind Daten, das andere sind Trainingsmethoden.
Obwohl die Trainingsmethoden derzeit in den Händen fortschrittlicher Closed-Source-Unternehmen wie OpenAI liegen, werden die Open-Source-Methoden schnell an Bedeutung gewinnen, sobald die Community eine bessere Lösung findet oder Mitarbeiter von Closed-Source-Unternehmen das Unternehmen verlassen und sich der Open-Source-Community anschließen. Daher weist das große Modell selbst nicht allzu viele First-Mover-Barrieren auf. Dies ist der erste Punkt.
Der zweite Punkt ist der Netzwerkeffekt.Beispielsweise gibt es bei Gruppenkauf-Apps viele Händler und Benutzer, sodass ein Netzwerkeffekt entsteht. Das große Modell selbst verfügt jedoch nicht über derartige Merkmale, sodass Unternehmen mit einem großen Closed-Source-Modell nicht über den Barrierevorteil von Netzwerkeffekten verfügen.
Daher bin ich der Meinung, dass Open Source Closed Source definitiv überholen wird, der Zeitpunkt jedoch vom aktuellen Status und Fortschritt abhängen wird.
Es ist ersichtlich, dass der Bereich der Open-Source-Großmodelle in China zwei Entwicklungsrichtungen aufweist. Eine Möglichkeit besteht darin, in die Fußstapfen international führender Großmodelle zu treten. Beispielsweise führen einige Leute die Lokalisierungsarbeiten von Llama durch. Die andere besteht darin, Teams wie Baichuan Intelligence dazu zu bringen, ihre eigenen großen chinesischen Modelle herauszubringen. Insgesamt boomt die Entwicklung großer Modelle im chinesischen Bereich, doch aus Sicht der Datenauswertung besteht immer noch eine gewisse Lücke zwischen der Aktivität der chinesischen Gemeinschaft und der internationalen Gemeinschaft. F2: Wie ist aus Sicht der Experten der aktuelle Fortschritt von Open Source im Bereich chinesischer Großmodelle? Geht es darum, mit Closed Source Schritt zu halten oder originelle Beiträge zu leisten? Wie sind die jeweiligen Proportionen? Wie ist die Open-Source-Atmosphäre in China im Bereich großer Modelle?
Wang Wei:Wir vergleichen die Open-Source-Umgebung und -Atmosphäre Chinas oft unbewusst mit denen im Westen.Tatsächlich ist Open Source selbst ein globales Phänomen.Dies bedeutet, dass überall auf der Welt darauf zugegriffen, es verbreitet und geändert werden kann.
Open Source hat seinen Ursprung in Europa und den USA und seit der Errichtung der Grundlagen für Linux und Apache sind Jahrzehnte vergangen. Im Gegensatz dazu sind große Open-Source-Konferenzen wie OSCAR in China gerade erst im Entstehen begriffen, aber dennoch haben wir große Fortschritte gemacht, wie man an den verschiedenen Errungenschaften erkennen kann, die jedes Jahr an den Zweigstellen veröffentlicht werden. Darüber hinaus nimmt auch die Aufmerksamkeit des Landes für Open Source von Tag zu Tag zu, und derzeit tragen immer mehr Menschen in China zu globalem Open Source bei.
Außerdem,Das chinesische Modell ist eine weltweit einzigartige Innovation.Weil Chinesisch eine einzigartige und reiche Sprache mit einem breiten Spektrum an Sprechern ist. Unsere Entwicklung des chinesischen Modells ist keine Konfrontation oder Konkurrenz, sondern eine Widerspiegelung kultureller Vielfalt. Darüber hinaus gibt es international viele mehrsprachige Prüfungen und Anwendungen und wir bieten auch Kurse und Projekte wie „International Chinese“ an, die im Rahmen des großen Modells einen breiten Anwendungswert haben.
Wenn wir das konkrete Ausmaß des großen chinesischen Modells bewerten möchten, sollten wir uns meiner Meinung nach die endgültigen Anwendungsergebnisse ansehen. Der Grund, warum diese von ChatGPT ausgelöste AIGC-Runde so beliebt ist, liegt darin, dass sie erhebliche Vorteile bei der Generierung von Text und Grafiken bietet. Wenn das große chinesische Modell in besseren Anwendungsszenarien wie Bildung und internationalem Austausch umgesetzt werden kann, werden sich sein Einfluss und seine Weiterentwicklung natürlich widerspiegeln.
Sandschwert:Zunächst einmal gab es in Bezug auf die Bewertung im frühen ChatGPT-4 mehrsprachige Bewertungen. Tatsächlich kann es sprachübergreifend sein, aber die Leistung kann in gängigen Sprachen besser und in unbeliebten Sprachen schlechter sein.
In dieser Phase besteht für viele chinesische Institutionen die Notwendigkeit, chinesische Modelle zu entwickeln, in folgenden Punkten:Sowohl aus Sicht des Landes als auch aus Sicht des Unternehmens hoffen sie alle, die Kerntechnologien zu beherrschen.Auch im Vergleich zur direkten Inanspruchnahme fremder Dienste bedeuten die höheren Kosten nicht zwangsläufig vorerst bessere Ergebnisse.
Zweitens ist die Atmosphäre in der gesamten chinesischen Community, einschließlich der Open-Source-Community, aus Sicht der Community tatsächlich nicht so gut wie im Westen. Tatsächlich gründen jedoch viele westliche Stiftungen, darunter die Apache und die Linux Foundation, derzeit chinesische Niederlassungen. Von diesen bekannten ausländischen Stiftungen und chinesischen Zweigstellen wird erwartet, dass sie der chinesischen Gemeinschaft neuen Schwung verleihen. Wir hoffen tatsächlich, dass einflussreiche lokale Stiftungen ihre eigenen Communities aufbauen.
Xu Kaiyong:Ich denke, es besteht immer noch eine gewisse Lücke zwischen den großen chinesischen Modellen und den großen ausländischen Modellen. Große ausländische Modelle unterstützen mehrere Sprachen, während die inländische Entwicklung langsamer verläuft. Darüber hinaus nutzen in China nur wenige Schüler das chinesische Großsprachenmodell, um Hausaufgaben zu machen, Aufsätze zu schreiben oder Matheaufgaben zu lösen, während dieses Phänomen im Ausland eigentlich sehr verbreitet ist.
Dies liegt zum Teil daran, dass bei großen inländischen Modellen manchmal Fehler auftreten und die Benutzer dazu neigen, sie stärker zu ärgern.Ich denke also, dass die großen chinesischen Modelle noch einen langen Weg vor sich haben, aber Chinesisch hat seine eigenen sprachlichen Besonderheiten und es gibt noch viele Möglichkeiten für das Überleben und die Entwicklung großer inländischer Modelle.
Mittlerweile widmen die Leute neben dem großen Modell selbst auch anderen Projekten im gesamten Ökosystem der Konstruktion großer Modelle immer mehr Aufmerksamkeit, darunter Datensätze, Trainingsmethoden, Chipbasen, Chipcluster-bezogene Software und Inferenz-bezogene Software-Ökosysteme. F3: Lehrer, achten Sie auf andere Toolkomponenten oder kommerzielle Unternehmen im Bereich der Open-Source-Großmodelle?
Wang Wei:Neben der Ökologie,Darüber hinaus konzentriere ich mich auf rechtliche, regulatorische und Compliance-bezogene Fragen.
Aus Sicht der Schule ist die soziale Wirkung eines Unternehmens wichtiger als seine Entwicklung. Insbesondere bei großen Modellen sprechen wir oft über Themen wie Governance, Compliance und Ethik. Große Modelle sind nicht länger eine einfache Technologie, die ausschließlich einer Branche vorbehalten ist. Jeder kann damit Texte und Bilder generieren. Mit seinem enormen Einfluss gehen allerdings auch potenzielle Sicherheitsprobleme einher.
Diese Fragen werden auf Daten und technische Tools abgebildet.Beispielsweise erfordern die Datenqualität, der Datenschutz und die Sicherheit Ihres Trainingsmodells nicht nur die Anstrengungen von Ingenieuren, sondern auch die tatkräftige Unterstützung von Fachleuten wie Anwälten.Lassen Sie uns dieses Fundament gemeinsam errichten. Auf dieser Grundlage werden wir uns oben auf die Chipschicht, die Software und andere Inhalte konzentrieren.
Auf technischer Ebene mache ich mir eher Sorgen um die grundlegende Toolchain.Diese Toolchains haben möglicherweise keinen direkten kommerziellen Wert wie kommerzielle Unternehmen, und Universitäten werden mehr Möglichkeiten haben, diese Dinge zu tun. Derzeit entwickeln viele Universitäten, wie beispielsweise die Universität Fudan, grundlegende Software, die unserem Land derzeit fehlt. Obwohl diese Toolchains selbst keinen großen kommerziellen Wert haben, handelt es sich bei ihnen um grundlegende und entscheidende Dinge. Aus Sicht der Schule schenken wir diesen und den zuvor genannten Fragen der ethischen Konformität daher größere Aufmerksamkeit.
Sandschwert:Ich werde über seine Ökologie und Auswirkungen auf den Upstream und Downstream großer Modelle aus der Perspektive von Software und Hardware sprechen.
Es gibt viele Interpretationen eines großen Modells. In den Augen von Algorithmenentwicklern ist ein großes Modell ein Algorithmusmodell, das allgemeine Aufgaben löst. Aus technischer Sicht ist ein großes Modell einfach nur groß. Die Rechenleistung, die Daten und die Anzahl der Parameter bestimmen die Obergrenze der Leistungsfähigkeit des Modells.Doch mittlerweile konzentrieren sich viele Studien auf die Gewichtsreduzierung großer Modelle, und zwar nicht, weil so viele Parameter nicht benötigt würden, sondern weil die Software- und Hardwareebenen nicht mithalten können.
Der gesamte historische Zyklus von Software, Hardware und Algorithmen ist eigentlich ein spiralförmiger, sich gegenseitig verstärkender Entwicklungsprozess, doch jetzt hat das große Modell den Ball aus dem Spiel geworfen, und seine Software- und insbesondere Hardwarekosten sind sehr hoch.
Das größte Problem, das derzeit die Kommerzialisierung großer Modelle beeinträchtigt, sind die Kosten der Inferenz.Obwohl die Schulungskosten der wichtigste Aspekt sind, ist dies auch dann machbar, wenn die Schulung langsamer erfolgt. Schließlich läuft dieser Prozess offline ab und nach einem Monat Training kann ein Modell mit Hunderten von Milliarden Bytes erstellt werden. Aber die Begründung ist eine andere. Wenn beispielsweise alle paar Sekunden oder jede Minute ein QPS erreicht wird und Milliarden von Menschen im ganzen Land kostenlos zur Verfügung gestellt wird, sind die Kosten zu hoch. Wenn Gebühren anfallen, können Benutzer verloren gehen, was das größte Problem darstellt.
Derzeit arbeiten alle Parteien im ganzen Land intensiv daran, diese Probleme zu lösen.Auf der HardwareebeneAufgrund der Unterdrückung durch die Vereinigten Staaten handelt es sich bei den von uns gekauften Karten im Wesentlichen um kastrierte Versionen, und große Unternehmen prüfen auch die Anwendung inländischer Karten. Soweit ich das beurteilen kann, sind die verschiedenen Indikatoren für die Rechenleistung der im Inland produzierten Karten alle gut.
Software:Der auf CUDA basierende Software-Stack des GPU-Ökosystems von NVIDIA verfügt noch immer über einen starken Burggraben, der vom Trainingsframework der oberen Ebene bis zur zugrunde liegenden Operatorbibliothek reicht, und stellt gleichzeitig einen riesigen Berg dar, den inländische Hardwarehersteller erklimmen müssen. Alle großen Hardwareunternehmen entwickeln ihre eigenen Software-Stacks und verfolgen unterschiedliche Strategien.
Aber aus der Sicht der Benutzer und EntwicklerIch hoffe immer noch, dass sie ihr eigenes Ökosystem auf Compilerebene stärker anpassen und auf Benutzerebene zum gängigen Open-Source-Framework konvergieren können, sodass die Benutzer nur die Leistungsverbesserung wahrnehmen können.Derzeit scheint dieser Trend vorherrschend zu sein, doch große Unternehmen können aufgrund ihrer eigenen Geschäftsstrategien sicherlich keinen vollständigen Konsens erzielen.
Auf Software- und Hardwareebene benötigen wir also einige Zeit und technologische Durchbrüche, um mit der aktuellen Nachfrage Schritt zu halten. Dies ist eine Herausforderung, aber auch eine große Chance.
Xu Kaiyong:Die Investment-Community schenkt dem Upstream- und Downstream-Bereich des Modells und den damit verbundenen Branchen große Aufmerksamkeit.
Zum BeispielUnterste Modellebene, wir werden uns einige Möglichkeiten in der Infrastrukturschicht ansehen, wie etwa 3D-Netzwerke und RDBMS; UndAnwendungsschichtWir werden uns auf Möglichkeiten in einigen vertikalen Branchen konzentrieren, wie etwa das automatische Lesen von Finanzberichten und -ankündigungen oder die automatische Zusammenfassung in der Finanzbranche, die Fehlererkennung im Industriesektor, Unternehmen mit exklusiven Datenbanken und Startups, die private große Modelle oder aus großen Modellen destillierte kleine Modelle bereitstellen, um nur ein Problem oder eine Reihe von Problemen zu lösen.
Zusätzlich zum Upstream und Downstream großer Modelle werden sich Investoren auch mit einigen neuen Möglichkeiten großer Modelle oder künstlicher Intelligenz befassen.Beispielsweise habe ich mich in letzter Zeit auch mit Open Source und Quantencomputing beschäftigt, da die traditionelle künstliche Intelligenz große Modelle umfasst, deren Leistung linear mit den Kosten wächst, das Quantencomputing jedoch exponentiell.
In den letzten 10 bis 12 Jahren wurden in den USA an der Nasdaq eine ganze Reihe von Unternehmen notiert, die auf Open-Source-Technologie (oder auf Basis der Muttergesellschaften der börsennotierten Unternehmen) gegründet wurden, wie beispielsweise Apache, Mongo DB usw. Man kann erkennen, dass diese Unternehmen, die in Open Source investiert haben, einen guten Geschäftswert und gute Renditen erzielt haben. Doch wenn man sich China ansieht, gibt es nur wenige chinesische Unternehmen, die in das Open-Source-Ökosystem investieren, und noch weniger, die es bis zur Börsennotierung geschafft haben oder die Führung übernommen haben. F4: Lehrer, hat das Geschäftsmodell des chinesischen Open-Source-Ökosystems wirklich funktioniert? Gibt es einen erfolgreichen Business Case? Wenn ja, fördern große Modelle diesen Trend? Wenn nicht, besteht die Möglichkeit, dass größere Modelle Teil dieses Trends werden?
Xu Kaiyong:In China gibt es grundsätzlich keine börsennotierten Open-Source-Unternehmen, im Ausland jedoch viele.Ich denke, der Hauptunterschied zwischen den Open-Source-Listing-Ergebnissen in China und den Vereinigten Staaten liegt im Talentfaktor.Die Vereinigten Staaten ziehen Talente aus aller Welt an und verfügen über eine offene Denkweise und einzigartige Erkenntnisse. Die meisten Initiatoren von Open-Source-Projekten kommen aus dem Silicon Valley.
Es gibt auch viele Entwickler/Meinungsführer in China, die sich an Open Source beteiligen. Obwohl es bisher noch kein börsennotiertes Open-Source-Unternehmen gibt, glaube ich, dass dies in Zukunft möglich ist, insbesondere im Bereich großer Modelle.
Derzeit sind weltweit nur China und die USA in der Lage, große Modelle herzustellen. In China ist die Konkurrenz für uns direkter, aber im Laufe der Jahre haben wir auch viele Computertalente ausgebildet und es gibt immer mehr Open-Source-Teilnehmer.Daher besteht weiterhin die Möglichkeit, ein öffentliches Unternehmen im Open-Source-Bereich zu gründen.
Sandschwert:In China scheinen keine besonders erfolgreichen Open-Source-Projekte gelistet zu sein, aber es gibt definitiv bekannte Open-Source-Projekte und Startups.
Die Atmosphäre im Silicon Valley ist tatsächlich besser. Schließlich hat sich die Entwicklung über viele Jahre hingezogen. Darüber hinaus verfügen ausländische Open-Source-Stiftungen und Investmentinstitute über gute Inkubations- und Anleitungsmechanismen für potenzielle Open-Source-Projekte, einschließlich Community-Zusammenarbeit und kommerzieller Weiterentwicklung. Viele hervorragende Projekte sind möglicherweise nicht einfach so entstanden. Es besteht weiterhin ein Aufholprozess und das Land muss weiterhin in diese Bereiche investieren, auch in die Bildung.
In dieser boomenden Branche in ChinaWill ein Unternehmen an die Börse gehen, muss es erstens über ein relativ großes Technologieportfolio verfügen und zweitens über ein Geschäftsmodell, das sich langfristig bewährt.Ich habe festgestellt, dass viele hervorragende Open-Source-Projekte noch nicht herausgefunden haben, wie sie mit ihren Produkten Geld verdienen können, aber das ist eigentlich das Wichtigste.
Wang Wei:Ich möchte drei Punkte ansprechen. Der erste ist der kommerzielle Erfolg.Ich war schon immer der Meinung, dass kommerzieller Erfolg nicht zwangsläufig mit Open Source zusammenhängt oder nicht.Auf kommerzieller Ebene kommt es eher darauf an, ob man vom Markt gebraucht wird und die Kundenbedürfnisse erfüllt, während Open Source heute eher ein Werbegag ist.
Der zweite Punkt ist, was Open Source für große Modelle bedeutet.Open Source-Modelle unterscheiden sich von Open Source-Softwarecodes.Nachdem das Modell Open Source ist, ist es für uns eine neue Erfahrung zu sehen, was Entwickler und Benutzer darauf aufbauend tun können. Obwohl Open Source-Modelle eine Möglichkeit zum Herunterladen und Verwenden von Modellen darstellen, bringt dies auch einige neue Probleme mit sich und es ist schwierig, die traditionelle Open Source-Definition oder das traditionelle Open Source-Framework anzuwenden. Daher ist die Frage, wie man auf Grundlage dieses Modells eine Community und ein Ökosystem aufbaut, eine völlig neue Frage.
Mir persönlich ist die Talentförderung am wichtigsten und ich bin davon überzeugt, dass Open Source die Talentförderung sehr fördert.
Erstens ermöglicht es College-Studenten einen schnelleren Zugang zu den neuesten Technologien.Nach der Veröffentlichung von Llama führten viele Universitäten sofort einige Implementierungen durch, optimierten die Software und fügten Inhalte hinzu, die sich auf ihre eigenen Fachgebiete bezogen. All dies profitierte von Open Source.
Zweitens ist das Open-Source-Kollaborationsmodell für die Ausbildung der Studierenden nützlicher als für eine rein technische Ausbildung.Es verbessert die Kommunikationsfähigkeiten der Schüler erheblich und lehrt uns, wie man wettbewerbsorientierte und kooperative Beziehungen zu Partnern aufbaut, was genau das ist, was chinesischen Schülern fehlt. In China fehlen Open-Source-Projekte, die so ausgereift sind wie im Ausland. Einerseits liegt es an Sprachproblemen, andererseits kann es mit den Gewohnheiten der Chinesen zusammenhängen: Wir sind nicht sehr gut darin, unsere Meinung in der Öffentlichkeit zu äußern, aber in der Gemeinschaft müssen wir unsere Meinung auf der Grundlage einiger Fakten zum Ausdruck bringen. Daher ist Open Source sehr hilfreich, um die Fähigkeiten der Studierenden in diesem Bereich zu schulen.
Ich ermutige Studenten nachdrücklich, an Open-Source-Projekten und -Communitys teilzunehmen, insbesondere an Open-Source-Projekten in China. Ich hoffe auch, dass mehr Unternehmen Studierenden, die sich aktiv in die Gemeinschaft einbringen, mehr Möglichkeiten bieten können.
Open Source Big Model aus der Perspektive der wissenschaftlichen Forschung, der Industrie und der Investitionen
Die aktuellen großen Modelle können Code generieren und sogar Vorschläge für die technische Architektur liefern. Es wird behauptet, dass KI in Zukunft viele Arbeitsplätze ersetzen wird, insbesondere im Computerbereich. Das Arbeitsparadigma könnte sich aufgrund der Entstehung großer Modelle ändern. F1: Professor Wang Wei, was denken Sie als Open-Source-Pionier und akademischer Leiter der East China Normal University über die Veränderungen, die KI im Prozess der Talentförderung im Computerbereich mit sich bringt? Angesichts des immer stärker werdenden Trends zu großen Models: Auf welche Fähigkeiten werden Sie sich bei der Ausbildung von Studenten und Talenten in Zukunft konzentrieren?
Wang Wei:Wir setzen derzeit aktiv auf Open Source. Viele Projekte, Themen und Frage-und-Antwort-Interaktionen in Kursen werden mithilfe von GitHub-Repositories implementiert. Jetzt, da das große Modell da ist, ist unsere Einstellung dieselbe.Sofern dies mit einem großen Modell möglich ist, ermutigen wir die Studierenden, das große Modell so oft wie möglich zu verwenden.Wir ermutigen auch Lehrer, an diesen Praktiken teilzunehmen.
Für Informatikstudenten und -lehrer reicht es nicht aus, nur große Modelle zu verwenden. Sie müssen auch die Prinzipien dahinter verstehen, um Anwendungen und Werkzeuge besser entwickeln zu können. Große Modelle werden in Zukunft sicherlich einige Arbeitsplätze und Berufe ersetzen, doch genau wie während der Industriellen Revolution verloren zwar viele Arbeiter ihre Arbeitsplätze, doch auch dadurch entstanden mehr neue Industrien und Berufe.Deshalb sagen wir den Schülern, dass in Zukunft mit Sicherheit noch mehr neue Branchen und Berufe entstehen werden und dass sie bereits während ihrer Schulzeit darauf vorbereitet werden müssen. Und die Vorbereitung beginnt damit, sich darauf einzulassen.
Zweitens ist auch die Rolle der Unternehmer sehr wichtig. Sie sind Organisationen, die Arbeitsplätze schaffen.Nach Erscheinen des großen Modells entstanden auch neue Positionen wie Prompt-Ingenieur und Tuning-Ingenieur. Es wird in Zukunft immer mehr neue Stellen geben.Dies sind Möglichkeiten, die von Unternehmern geschaffen werden.
Ant hat viel Arbeit im Open-Source-Ökosystem geleistet, beispielsweise SOFA und eine Reihe von Open-Source-Arbeiten an Cloud-nativer Middleware. Man kann sagen, dass diese Arbeiten eine sehr gute ökologische Grundlage für die gesamte Cloud-native-Unterstützung der Branche bilden. F2: Professor Sha Jian, könnten Sie bitte die zukünftige Ausrichtung von Ant im Bereich großer Open-Source-Modelle vorstellen? Wie bewerten Sie gleichzeitig als technischer Experte die Arbeit von Ant im Open-Source-Bereich und welchen Wert hat diese Arbeit für das gesamte Unternehmen Ant?
Sha Jian: Ant setzt auf Open Source.Wenn das interne Projekt gut entwickelt ist, wird das Unternehmen auch alle zur Open Source ermutigen. Das Unternehmen verfügt hierfür nicht über kommerzielle Kennzahlen, sondern es geht ihm eher darum, den Einfluss der Technologie zu steigern und das Image eines Technologieunternehmens aufzubauen.
Das Angebot im Bereich KI bzw. große Modelle lässt sich in mehrere Teile unterteilen:
Zunächst einmal ist die grundlegendste Komponente Infra, die einem Produktionstool entspricht, und das Ganze wird Open Source sein. Jetzt kann der erste Schritt der KI-Trainingsinfrastruktur vollständig in DLRover freigegeben werden, und der gesamte Reasoning-Teil sowie GPU-Virtualisierung, GPU-Cluster und AIDC werden schrittweise freigegeben.
Auf der Anwendungsebene sind einige offiziell angekündigte große Modelle aufgrund von Datenproblemen möglicherweise nicht vollständig offen, aber einige vertikale große Modelle wie CodeFuse werden auch nach und nach als Open Source bereitgestellt. Jetzt bewegen sich viele Teams schrittweise in Richtung Open Source.
Wenn wir von unserem eigenen DLRover-Projekt sprechen, denken wir auch darüber nach, warum wir Open Source verwenden sollten. Was sind die potenziellen Anwendungsfälle für dieses Projekt?
Einige Cloud-Anbieter wie Alibaba Cloud und Baidu Cloud müssen ihre eigenen Dienste verkaufen und entwickeln daher ihre eigenen Anwendungen und Hardware. Dennoch gibt es immer noch viele Institutionen, die über viel Hardware und Forscher verfügen, denen aber ein professionelles Infrastrukturteam fehlt, um diese Hardware effizient zu nutzen. Und genau hier hofft DLRover helfen zu können.Dies entspricht der Ermächtigung oder Bereitstellung eines vollständigen Satzes von Lösungen, die innerhalb von Ant verifiziert wurden.Dies ist eine potenzielle Möglichkeit; Es gibt auch den Endbenutzer, beispielsweise einen einzelnen Entwickler, der eine unserer Komponenten separat ausführen kann. Das Publikum ist also ziemlich breit gefächert.
Wir möchten unser Projekt für diese Benutzer erstellen, haben jedoch keine Ziele hinsichtlich der Art und Weise der Kommerzialisierung oder ob eine Kommerzialisierung in Zukunft möglich ist.
Beobachtungen zufolge investieren nur sehr wenige chinesische RMB-Fonds in Open-Source-Projekte. Zuvor waren es auch einige US-Dollar-Fonds, die in China vor allem in Open Source investierten. Die Investmentinstitution, bei der Herr Xu arbeitet, ist ein repräsentativer RMB-Fonds in China und hat direkt oder indirekt in mehrere KI-Chip-/Big-Model-Unternehmen investiert. F3: Was denken Sie als Fonds mit guter Exit-Performance aus organisatorischer und persönlicher Sicht über Investitionen in Open Source? Werden Sie in Zukunft positiv in Open-Source-Projekte investieren? Was ist der Grund?
Xu Kaiyong: Open Source ist eine Kraft, die in der Softwarebranche nicht ignoriert werden kann.Unser Unternehmen ist auch im Open-Source-Bereich präsent und hat in Technologiesoftware-Infrastrukturen, Datenbanken, Datenverwaltung und andere damit verbundene Unternehmen investiert. Ich persönlich glaube an Informationstechnologie, Software und Open Source. Ich bin ein Nutznießer und Förderer von Open Source, seit ich im College mit dem Programmieren begonnen habe.
Auch das Management unseres gesamten Fonds ist sehr offen. Wir unterstützen nachdrücklich Investitionen im Open-Source-Bereich und achten weiterhin auf die Entdeckung hochwertiger Open-Source-Projekte und fördern diese. Allerdings sind nicht alle Investmentinstitute so aufgeschlossen. Manche Investoren verstehen Open Source nicht ganz und denken, dass Open Source kostenlos bedeutet, was auch die Hemmschwelle für Investitionen in Open Source erhöht.
In der Vergangenheit wurde in Open Source tatsächlich hauptsächlich über US-Dollar-Fonds investiert, mittlerweile sind US-Dollar-Fonds jedoch aus dem Mainstream verschwunden.Dann müssen RMB-Fonds auch die Fahne der Open-Source-Software-Investitionen aufgreifen.
Zukunftsaussichten
Open Source wurde 2021 erstmals in den „14. Fünfjahresplan“ des Landes aufgenommen. Mit seinem hervorragenden kreativen Modell der Gleichheit, Offenheit, Zusammenarbeit und des Teilens entwickelt es sich weiterhin zu einem wichtigen Motor für die Förderung digitaler Technologieinnovation, die Optimierung von Softwareproduktionsmodellen, die Transformation und Modernisierung traditioneller Branchen und hilft Unternehmen, Kosten zu senken und die Effizienz zu steigern.
Als Vertreter hochmoderner, aufkommender Technologien befinden sich große Modelle in der Erkundungsphase ihrer Weiterentwicklung.Die Open-Source-Community kann die besten Talente der Welt zusammenbringen und gemeinsam die Iteration, Optimierung und Implementierung großer Modelle beschleunigen und so mit hochwertigen Produkten und Dienstleistungen die digitale Transformation und den Geschäftserfolg in allen Branchen fördern.
Insgesamt bieten große Open-Source-Modelle unbegrenzte Möglichkeiten, stehen aber auch vor zahlreichen Herausforderungen.Derzeit drängen große einheimische Modelle auf den Markt. Wer wird sich im erbitterten Kampf Tausender Models durchsetzen?Gerne können Sie Ihre Meinung im Kommentarbereich hinterlassen.
Dieser Artikel wurde zuerst veröffentlicht von HyperAIÖffentliche WeChat-Plattform~