Command Palette
Search for a command to run...
Jabarti-LLM – Korpus-Datensatz Für Die Vorabtrainierung in Arabisch Und Englisch
Jabarti-LLM Arabisch- und Englisch-Pretraining-Korpusdatensatz
Datensatzübersicht
Jabarti LLM ist ein zweisprachiger Trainingsdatensatz für große Sprachmodelle, der die Pretraining-, Domänenanpassungs- und überwachte Fine-Tuning-Arbeit für kleine arabische und englische Sprachmodelle mit Korpustexten unterstützen soll.
Der Datensatz enthält zusammenhängende Textabschnitte auf Arabisch und Englisch. Jeder Datensatz ist etwa 120 bis 1.500 Zeichen lang, wobei Artikel- und Abschnittsüberschriften entfernt wurden. Die Daten kombinieren ausgewählte ägyptische historische Korpustexte mit allgemeinen Wissens texten aus der mehrsprachigen Wikipedia. Sie wurden bereinigt, segmentiert und quellenmäßig aufbereitet und decken sowohl die allgemeine Sprachabdeckung in Arabisch und Englisch als auch domänenspezifisches Wissen zur ägyptischen Geschichte ab.
Zusammensetzung des Datensatzes
- Pretraining-Korpus: enthält zusammenhängende Textabschnitte auf Arabisch und Englisch, wobei jeder Datensatz etwa 120 bis 1.500 Zeichen lang ist und Artikel- sowie Abschnittsüberschriften entfernt wurden;
- Ägyptischer historischer Korpus: enthält ausgewählte Inhalte zur ägyptischen Geschichte; historische Themen können anhand von Feldern wie egypt_relevance gefiltert werden;
- Wikipedia-Korpus: integriert allgemeine Wissens texte auf Arabisch und Englisch aus CohereLabs/wikipedia-2023-11-embed-multilingual-v3;
- Frage-Antwort-Fine-Tuning-Daten: bietet Frage-Antwort-Beispiele auf Arabisch und Englisch mit Informationen zu Frage, Antwort, Sprache, Fragetyp und Schwierigkeit und unterstützt überwachtes Fine-Tuning;
- Datenquellen- und Qualitätsfelder: Zeichnet Quelle, Sprache, Inhaltsqualität und Themenbereich über Felder wie ds_source, language, content_quality und topic_domain auf, um Datenfilterung und Sampling zu erleichtern;
- Datenaufteilung: Bietet Pretraining- und Fine-Tuning-Konfigurationen sowie Phasenaufteilungen für Trainingsset, Evaluierungsset und mit älteren Versionen kompatible Abläufe, um die Nutzung in verschiedenen Trainingsphasen zu unterstützen.
KI mit KI entwickeln
Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.