Command Palette
Search for a command to run...
Ensemble De Données De Référence Pour La Recherche Approfondie Interdisciplinaire DRACO
Date
URL du document
Licence
MIT
Le jeu de données de référence DRACO pour la recherche approfondie interdomaines est un jeu de données publié par l'équipe Perplexity pour l'évaluation de tâches de recherche complexes. Parmi les articles associés, on peut citer… DRACO : un référentiel interdomaines pour la précision, l’exhaustivité et l’objectivité de la recherche approfondieL’objectif est d’évaluer systématiquement les capacités globales des systèmes de recherche approfondie en termes d’exactitude, d’exhaustivité et d’objectivité. Cet ensemble de données comprend 100 tâches de recherche complexes, couvrant 40 pays et régions sur cinq continents et englobant 10 grands domaines d'application, dont la finance, la comparaison de produits, le monde universitaire et la technologie. Chaque tâche correspond à un problème d'analyse et de recherche d'informations multi-étapes et multi-sources, et s'accompagne de critères d'évaluation conçus et validés par 26 experts du domaine. Chaque critère comprend en moyenne une quarantaine de métriques d'évaluation, offrant une évaluation fine des résultats du modèle selon quatre dimensions : exactitude factuelle, étendue et profondeur de l'analyse, qualité de la présentation et qualité des citations. La répartition des tâches par domaine est illustrée dans la figure suivante :

idL'identifiant unique de la tâche.domainLe domaine auquel appartient la tâcheproblemRequête de recherche complète nécessitant des réponsesanswerLes critères d'évaluation sont encodés en JSON et comprennent des normes spécifiques pour chaque dimension d'évaluation.
Créer de l'IA avec l'IA
De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.