olmOCR-mix-0225 Ensemble De Données De Documents PDF À Grande Échelle

olmOCR-mix-0225 est un ensemble de données de documents PDF à grande échelle et de haute qualité conçu pour la formation et l'optimisation des modèles de reconnaissance optique de caractères (OCR). Cet ensemble de données a été publié par l'Allen Institute for AI en 2025, et les résultats de l'article associé sont "olmOCR : Débloquer des milliards de jetons dans les PDF grâce aux modèles de langage de vision".

Caractéristiques du jeu de données

L'ensemble de données contient environ 250 000 pages de contenu PDF, couvrant divers types tels que des articles universitaires, des documents juridiques et des manuels. L'ensemble de données contient non seulement du contenu textuel, mais extrait également les informations de coordonnées des éléments saillants (tels que les blocs de texte et les images) de chaque page. Ces informations sont injectées dynamiquement dans l’invite du modèle, réduisant considérablement les hallucinations du modèle. Cet ensemble de données peut être utilisé pour former, affiner ou évaluer votre propre pipeline de traitement de documents OCR.

De plus, l'ensemble de données est annoté à l'aide de GPT-4o pour garantir une qualité et une cohérence élevées des annotations. Les données proviennent d’un large éventail de sources, notamment de documents PDF extraits de sites Web publics et de livres provenant d’Internet Archive. L'ensemble de données contient non seulement du contenu textuel, mais extrait également les informations de coordonnées des éléments saillants (tels que les blocs de texte et les images) de chaque page. Ces informations sont injectées dynamiquement dans l’invite du modèle, réduisant considérablement les hallucinations du modèle.