Command Palette
Search for a command to run...
Benchmarking geospatialer Fragebeantwortungsmodule mithilfe des Datensatzes GeoQuestions1089
{Pierre Maret Manolis Koubarakis Myrto Tsokanaridou Michail Mitsios Mariangela Pollali Konstantinos Plas Eleni Tsalapati Dharmen Punjani Sergios-Anestis Kefalidis}
Abstract
Wir präsentieren den Datensatz GeoQuestions1089 zur Benchmarking von geospatialen Fragebeantwortungssystemen. GeoQuestions1089 ist der derzeit größte verfügbare Datensatz dieser Art und enthält 1089 Fragen, ihre entsprechenden GeoSPARQL- oder SPARQL-Abfragen sowie die dazugehörigen Antworten über das geospatialen Wissensgraphen YAGO2geo. Wir verwenden GeoQuestions1089, um die Wirksamkeit und Effizienz der geospatialen Fragebeantwortungssysteme GeoQA2 (eine Erweiterung von GeoQA, die von unserer Gruppe entwickelt wurde) sowie des Systems von Hamzei et al. (2022) zu evaluieren.
Benchmarks
| Benchmark | Methodik | Metriken |
|---|---|---|
| question-answering-on-geoquestions1089 | Hamzei et al. | Percentage correct: 19.04% |
| question-answering-on-geoquestions1089 | GeoQA2 | Percentage correct: 38.28% |
KI mit KI entwickeln
Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.