Das Shanghai AI Lab Hat ChemLLM Veröffentlicht, Das 7 Millionen Frage-und-Antwort-Daten Umfasst Und Über Professionelle Funktionen Verfügt, Die Mit Denen Von GPT-4 Vergleichbar Sind.

Mit der rasanten Entwicklung der künstlichen Intelligenztechnologie werden große Sprachmodelle (LLMs) aufgrund ihrer leistungsstarken Fähigkeiten zur Verarbeitung natürlicher Sprache häufig in der wissenschaftlichen Forschung eingesetzt, beispielsweise in den Biowissenschaften, der Ozeanographie und der Materialchemie. Obwohl LLMs bei chemiebezogenen Aufgaben wie der Vorhersage molekularer Eigenschaften, der Molekülerzeugung und dem experimentellen Design gute Leistungen erbringen, schneiden sie bei der Bewältigung verschiedener nachgelagerter chemischer Aufgaben schlecht ab.

Der Grund dafür ist, dass die direkte Integration chemischen Wissens in Sprachmodelle mit drei großen Herausforderungen verbunden ist:Erstens werden die meisten chemischen Informationen und Kenntnisse in strukturierten Datenbanken gespeichert. Die direkte Verwendung dieser Daten zum Trainieren von LLMs kann die Fähigkeit des Modells zur Verarbeitung natürlicher Sprache beeinträchtigen, was zu einer Verschlechterung der Dialog- und logischen Denkfähigkeiten des Modells führen kann. Zweitens werden Moleküle in der Cheminformatik durch spezielle Symbole wie SMILES dargestellt. Allerdings entspricht diese Art von Daten oft nicht den Normen der natürlichen Sprache, sodass es für herkömmliche Sprachmodelle schwierig ist, solche Symbole richtig zu verstehen und zu generieren. Schließlich gibt es viele Arten chemischer Daten und Aufgaben, und es ist sehr schwierig, einen flexiblen Trainingsprozess zu entwickeln, der auf eine Vielzahl chemischer Aufgaben verallgemeinert werden kann.

Als Reaktion darauf veröffentlichte das Shanghai Artificial Intelligence Laboratory das chemische Großsprachenmodell ChemLLM. ChemLLM zeichnet sich durch die Durchführung verschiedener Aufgaben im Fach Chemie durch flüssige Konversationsinteraktionen aus, ist bei Kernaufgaben auf Augenhöhe mit GPT-4 und zeigt in allgemeinen Szenarien eine vergleichbare Leistung wie LLMs ähnlicher Größe. ChemLLM eröffnet neue Wege für die Erforschung der chemischen Forschung und der Ansatz des Forschungsteams, strukturiertes chemisches Wissen in ein Konversationssystem zu integrieren, setzt einen neuen Standard für die Entwicklung von LLMs in verschiedenen wissenschaftlichen Bereichen.

Die zugehörige Forschung mit dem Titel „ChemLLM: A Chemical Large Language Model“ wurde auf arXiv veröffentlicht. Die Ergebnisse wurden als Open Source veröffentlicht und stehen kostenlos zur kommerziellen Nutzung zur Verfügung.Derzeit hat HyperAI Hyper.ai die „Ein-Klick-Bereitstellung des großen chemischen Modells ChemLLM-7B-Chat“ gestartet. Die Schritt-für-Schritt-Anleitung finden Sie am Ende des Artikels ~

Forschungshighlights:

* Erstellung und Bereitstellung des umfangreichen chemischen Datensatzes ChemData sowie der chinesischen und englischen Versionen des Datensatzes ChemPref-10K, des Datensatzes C-MHChem und des Benchmark-Datensatzes ChemBench4K zur Bewertung chemischer Leistungsfähigkeit

* ChemBench wurde erstellt und als Open Source bereitgestellt, ein groß angelegter Chemie-Benchmark-Test, der aus 4.100 Multiple-Choice-Fragen und 9 spezifischen Aufgaben besteht

* Durch quantitative und qualitative Bewertungstests zeigte ChemLLM gute chemische Fachkenntnisse und Vielseitigkeit

Papieradresse:
https://arxiv.org/abs/2402.06852

Das Tutorial des chemischen Großmodells ChemLLM-7B-Chat ist jetzt auf hyper.ai online. Klicken Sie auf den Link, um es mit einem Klick bereitzustellen:
https://go.hyper.ai/r31KV

Downloadadresse des ChemData-Datensatzes für chemische Aufgaben:
https://go.hyper.ai/zMJEl

Das Open-Source-Projekt „awesome-ai4s“ vereint mehr als 100 AI4S-Papierinterpretationen und stellt umfangreiche Datensätze und Tools bereit:
https://github.com/hyperai/awesome-ai4s

ChemData-Datensatz: Ein umfangreicher chemischer Datensatz mit 7 Millionen Frage-Antwort-Daten

Die Forscher sammelten chemische Daten aus zahlreichen Online-Ressourcen-Repositories, darunter PubChem, ChEMBL, ChEBI, ZINC usw., und erstellten auf dieser Grundlage einen umfangreichen Datensatz ChemData zur Feinabstimmung von ChemLLM.

Der ChemData-Datensatz verwendet einen vorlagenbasierten Ansatz zur Anweisungskonstruktion, um strukturierte chemische Daten in eine natürliche Konversationsform umzuwandeln, die für die Schulung von LLMs geeignet ist.Der Datensatz enthält 7 Millionen Frage-Antwort-Daten zur Feinabstimmung der Anweisungen und deckt ein breites Spektrum an chemischem Fachwissen ab. Die Frage-Antwort-Datenkategorien stimmen mit Molekülen, Reaktionen und anderen chemiebezogenen Aufgabenkategorien überein.

In,Zu den molekularbezogenen Aufgaben gehören Namenskonvertierung, Caption2Mol, Mol2Caption und Vorhersage molekularer Eigenschaften.Der Hauptzweck besteht darin, die Wahrnehmung chemischer Moleküle durch das Sprachmodell anzupassen.

Reaktionsbezogene Aufgaben umfassen alle Aspekte chemischer Reaktionen.Einschließlich Retrosynthese, Produktvorhersage, Ausbeutevorhersage, Temperaturvorhersage und Lösungsmittelvorhersage. Mit Ausnahme der Daten, die eindeutig klassifiziert werden können, werden alle anderen Daten in bestimmte Aufgabentypen gruppiert, wodurch ChemLLMs Verständnis des gesamten chemischen Bereichs verbessert wird. Die folgende Abbildung zeigt den Anteil der in diesen drei Aufgabentypen enthaltenen Daten.

ChemLLM-Modellarchitektur: Basierend auf InternLM2-Base-7B, zweistufige Feinabstimmung der Anweisungen

Das chemische Großsprachenmodell ChemLLM wird basierend auf dem InternLM2-Base-7B-Modell durch eine zweistufige Methode zur Feinabstimmung der Anweisungen trainiert. Es realisiert nicht nur mehrere chemische Fähigkeiten, sondern verfügt auch über alle natürlichen Sprachfähigkeiten.

Wie in der folgenden Abbildung gezeigt, verwendete das Forschungsteam in der ersten Phase Multi-Corpus (ein umfassendes Korpus mit 1,7 Millionen Frage-Antwort-Paaren, die aus Hugging Face gesammelt wurden), um die allgemeine Sprachfähigkeit des Modells zu verbessern, und nannte das in der ersten Phase erhaltene Modell InternLM2-Chat-7B.

In der zweiten Phase optimierte das Forschungsteam das Modell mithilfe eines gemischten Datensatzes aus ChemData und Multi-Corpus, wobei ChemData zur Erweiterung des chemischen Wissens des Modells und Multi-Corpus zur Erhaltung der allgemeinen Fähigkeiten des Modells verwendet wurde. Nach einer zweistufigen Feinausbildung wird die Vielseitigkeit des ChemLLM im Bereich der Chemie verbessert.

ChemBench-Benchmark: Reduzierung des Einflusses des Ausgabestils des Sprachmodells auf die Bewertungsergebnisse

Vorhandene Benchmarks für groß angelegte Chemiemodelle werden meist in Form von Fragen und Antworten präsentiert und verwenden BLEU und ROUGE als Bewertungskriterien. Diese Art der Auswertung wird jedoch leicht durch den Ausgabestil des Sprachmodells beeinflusst und eignet sich nicht für Szenarien, in denen die Richtigkeit wissenschaftlicher Fakten im Vordergrund steht.

Auf dieser Grundlage hat das Forschungsteam einen chemischen Benchmarktest namens ChemBench entwickelt, der den aktuellen Mainstream-Bewertungssätzen MMLU und C-Eval ähnelt. ChemBench umfasst 9 Aufgaben zu chemischen Molekülen und Reaktionen und ist mit den Aufgaben im ChemData-Datensatz identisch.Darüber hinaus enthält ChemBench 4.100 Multiple-Choice-Fragen mit jeweils einer richtigen Antwort, wodurch der Einfluss des Ausgabestils des Sprachmodells auf die Bewertungsergebnisse minimiert werden soll.

Erwähnenswert ist, dass der Benchmark im Open-Source-Projekt OpenCompass gestartet wurde. Die folgende Abbildung zeigt die Verteilung der 9 Aufgaben des ChemBench-Benchmarks.

Forschungsergebnisse: Das Chemie-Know-how des ChemLLM-Modells ist mit GPT-4 vergleichbar und deutlich besser als bei allgemeinen LLMs ähnlicher Größe

Das Forschungsteam bewertete die Leistung des chemischen Großsprachenmodells ChemLLM sowohl in quantitativer als auch in qualitativer Hinsicht.Die quantitative Beurteilung umfasst die Beurteilung der chemischen und allgemeinen Fähigkeiten, während die qualitative Beurteilung hauptsächlich anhand der Leistung bei chemiebezogenen NLP-Aufgaben (Natural Language Processing) bewertet wird.

Bei der Beurteilung der chemischen FähigkeitenChemBench dient als Benchmark zur Bewertung grundlegender chemischer Fähigkeiten und testet die Expertise des Modells anhand von 9 verschiedenen Aufgaben. Wie in der folgenden Abbildung gezeigt, übertrifft ChemLLM allgemeine große Sprachmodelle (LLMs) ähnlicher Größe deutlich und ist GPT-3.5 auf ganzer Linie überlegen. Im Vergleich zu InternLM2-Chat-7B haben sich die chemischen Fähigkeiten von ChemLLM deutlich verbessert, was darauf hindeutet, dass die zweite Phase des chemischen Fähigkeitstrainings eine signifikante Wirkung hat. Im Vergleich zu GPT-4 erzielte ChemLLM bei 6 von 9 Aufgaben eine höhere Punktzahl als GPT-4.

In der allgemeinen KompetenzbewertungDas Forschungsteam verwendete vier Datensätze: MMLU, C-Eval, GSM8K und C-MHChem, um ChemLLM zu bewerten. Unter ihnen ist MMLU ein Benchmark-Test, der interdisziplinäre Fächer wie MINT (Mathematik, Informatik, Naturwissenschaften und Technik), Geistes- und Sozialwissenschaften abdeckt und eine umfassende Bewertung interdisziplinären Wissens durchführt. C-Eval ist ein umfassender chinesischer Benchmark-Test, der mehrere Themen abdeckt und in 4 Schwierigkeitsstufen unterteilt ist. GSM8K ist ein Benchmarktest zum Prüfen der mathematischen Fähigkeiten von Sprachmodellen, der die Lösung von Problemen durch 2–8 Schritte grundlegender mathematischer Operationen erfordert. C-MHChem ist ein Datensatz zur Bewertung der grundlegenden chemischen Konzepte des Modells, der hauptsächlich für Chemietests in der Mittel- und Oberstufe verwendet wird.

Wie in der folgenden Abbildung gezeigt, erreicht ChemLLM Genauigkeiten von 65,6 bzw. 64,1 bei den englischen MMLU- und chinesischen C-Eval-Benchmarks und demonstriert damit seine hervorragende Leistung in einem breiteren Spektrum von Disziplinen und mehrsprachigen Szenarien.

Beim GSM8K-Datensatztest erreichte die Genauigkeit von ChemLLM 67,2. Die Ergebnisse zeigten, dass die Feinabstimmung der chemischen Daten die Argumentationsfähigkeit des Modells bis zu einem gewissen Grad verbesserte.

Beim Test des C-MHChem-Datensatzes erreichte ChemLLM eine Genauigkeit von 76,4 und übertraf damit GPT-4. Dies demonstrierte die Leistungsfähigkeit von ChemLLM bei Aufnahmeprüfungen für chinesische Mittel- und Oberschulen.

Bei der qualitativen BewertungDas Forschungsteam bewertete ChemLLM anhand von chemiebezogenen NLP-Aufgaben (Natural Language Processing), wie etwa der Erstellung chemischer Poesie, Textextraktion, Übersetzung chemischer Literatur und ethischen Antworten. Die Ergebnisse zeigen, dass ChemLLM ein tieferes Verständnis und eine kreative Anwendung chemischen Wissens in verschiedenen NLP-Aufgaben ermöglichen kann. Die folgende Abbildung listet die Leistung von ChemLLM bei einigen NLP-Aufgaben auf:

Die oben genannten Forschungsergebnisse zeigen, dass ChemLLM in der Lage ist, verschiedene chemische Aufgaben durch Echtzeitgespräche zu bewältigen. Seine chemischen Fähigkeiten sind mit denen von GPT-4 vergleichbar und es zeigt auch in anderen Bereichen gute Leistungen.

Derzeit hat ChemLLM eine neue Upgrade-Runde abgeschlossen. ChemLLM-1.5 ist mit der RAG-Funktion verbunden, die nicht nur das gründliche Durchsuchen und Verstehen chemischer Literatur und die Online-Suche unterstützt, sondern auch den direkten Dialog mit ChemLLM zur Diskussion von Artikelinhalten ermöglicht. Die Entwicklung des ChemLLM schafft einen Präzedenzfall für LLMs in naturwissenschaftlichen Bereichen und beschleunigt den Fortschritt der chemischen Forschung im KI-Zeitalter weiter.

HyperAI Hyper.ai hat die „Ein-Klick-Bereitstellung des chemischen Großmodells ChemLLM-7B-Chat“ gestartet.Nachfolgend finden Sie eine Schritt-für-Schritt-Anleitung und eine Effektanzeige. Lassen Sie es uns mit dem Editor erkunden~

Bereitstellung des chemischen Großmodells ChemLLM-7B-Chat mit einem Klick

Demolauf

1. Melden Sie sich bei hyper.ai an, wählen Sie auf der Seite „Tutorial“ die Option „Ein-Klick-Bereitstellung der Pu Ke-Chemie-Großmodell-ChemLLM-7B-Chat-Demo“ und klicken Sie auf „Dieses Tutorial online ausführen“.

2. Klicken Sie nach dem Seitensprung oben rechts auf „Klonen“, um das Tutorial in Ihren eigenen Container zu klonen.

3. Klicken Sie unten rechts auf „Weiter: Hashrate auswählen“.

4. Nachdem die Seite gesprungen ist, wählen Sie „NVIDIA GeForce RTX 4090“ und klicken Sie auf „Weiter: Überprüfen“. Neue Benutzer können sich über den unten stehenden Einladungslink registrieren, um 4 Stunden RTX 4090 + 5 Stunden CPU-freie Zeit zu erhalten!

Exklusiver Einladungslink von HyperAI (kopieren und im Browser öffnen):
https://openbayes.com/console/signup?r=6bJ0ljLFsFh_Vvej

5. Klicken Sie auf „Weiter“ und warten Sie, bis die Ressourcen zugewiesen wurden. Der erste Klonvorgang dauert etwa 2 Minuten. Wenn sich der Status in „Wird ausgeführt“ ändert, klicken Sie auf den Sprungpfeil neben „API-Adresse“, um zur Seite „Ein-Klick-Bereitstellung der Puke Chemical Large Model ChemLLM-7B-Chat-Demo“ zu springen. Bitte beachten Sie, dass Benutzer vor der Verwendung der API-Adresszugriffsfunktion eine Echtnamenauthentifizierung durchführen müssen.

Wenn das Problem länger als 10 Minuten besteht und sich das System immer noch im Status „Ressourcen werden zugewiesen“ befindet, versuchen Sie, den Container zu stoppen und neu zu starten. Wenn das Problem durch einen Neustart immer noch nicht behoben wird, wenden Sie sich bitte an den Kundenservice der Plattform auf der offiziellen Website.

Effektvorschau

Prüfung ethischer Dilemmata bei der Arzneimittelentwicklung

Quellen:
1. https://mp.weixin.qq.com/s/C_aFYbzLlQySmTDarWWRkA
2. https://mp.weixin.qq.com/s/b9T9LxAkv4gnJMfBs2AW5Q