Command Palette
Search for a command to run...
Évaluation comparative des moteurs de réponse à des questions géospatiales à l'aide du jeu de données GeoQuestions1089
{Pierre Maret Manolis Koubarakis Myrto Tsokanaridou Michail Mitsios Mariangela Pollali Konstantinos Plas Eleni Tsalapati Dharmen Punjani Sergios-Anestis Kefalidis}
Résumé
Nous présentons le jeu de données GeoQuestions1089 destiné à évaluer les moteurs de réponse à des questions géospatiales. GeoQuestions1089 est actuellement le plus grand jeu de données de ce type disponible, comprenant 1 089 questions, leurs requêtes correspondantes en GeoSPARQL ou SPARQL, ainsi que leurs réponses sur le graphe de connaissances géospatiales YAGO2geo. Nous utilisons GeoQuestions1089 pour évaluer l’efficacité et l’efficience des moteurs de réponse à des questions géospatiales GeoQA2 (une extension de GeoQA développée par notre équipe) et du système proposé par Hamzei et al. (2022).
Benchmarks
| Benchmark | Méthodologie | Métriques |
|---|---|---|
| question-answering-on-geoquestions1089 | Hamzei et al. | Percentage correct: 19.04% |
| question-answering-on-geoquestions1089 | GeoQA2 | Percentage correct: 38.28% |
Construire l'IA avec l'IA
De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.