Command Palette
Search for a command to run...
Jabarti-LLM – Jeu De Données Pré-entraîné En Corpus Bilingue arabe-anglais
Jabarti-LLM : Corpus bilingue arabe-anglais pour le pré-entraînement de LLM
Aperçu du dataset
Le Jabarti LLM Dataset est un dataset bilingue pour l'entraînement de grands modèles de langage, publié par bakrianoo. Il vise à fournir un corpus de support pour le pré-entraînement, l'adaptation de domaine et le fine-tuning supervisé de petits modèles de langue en arabe et en anglais.
Ce dataset combine un corpus sélectionné sur l'histoire de l'Égypte et des textes de connaissances générales provenant de Wikipédia multilingue. Après nettoyage, segmentation et organisation des sources, il assure une couverture linguistique générale en arabe et en anglais tout en intégrant des connaissances spécifiques au domaine de l'histoire égyptienne. Le dataset propose à la fois un corpus de textes pour le pré-entraînement et des données de fine-tuning sous forme de questions-réponses, permettant le modélisation linguistique bilingue, l'apprentissage de connaissances et l'entraînement des capacités de question-réponse.
Composition du dataset
- Corpus de pré-entraînement : comprend des fragments de texte continu en arabe et en anglais, chaque enregistrement ayant une longueur comprise entre 120 et 1 500 caractères, avec suppression des titres d'articles et des titres de sections.
- Corpus sur l'histoire de l'Égypte : contient du contenu sélectionné sur l'histoire de l'Égypte, permettant de filtrer les données thématiques historiques via des champs tels que egypt_relevance.
- Corpus Wikipédia : intègre des textes de connaissances générales en arabe et en anglais provenant de CohereLabs/wikipedia-2023-11-embed-multilingual-v3.
- Données de fine-tuning question-réponse : fournit des exemples de questions et réponses en arabe et en anglais, incluant des informations telles que la question, la réponse, la langue, le type de question et la difficulté, pour supporter le fine-tuning supervisé.
- Champs de source et de qualité des données : enregistre les sources, la langue, la qualité du contenu et le domaine thématique via des champs tels que ds_source, language, content_quality et topic_domain, facilitant le filtrage et l'échantillonnage des données.
- Partitions des données : propose des configurations de pré-entraînement et de fine-tuning, ainsi que des partitions en ensembles d'entraînement, d'évaluation et de phases compatibles avec les anciens flux de travail, supportant différentes étapes d'entraînement.
Créer de l'IA avec l'IA
De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.