HyperAIHyperAI

Command Palette

Search for a command to run...

Text-to-SQL in the Wild : un jeu de données issu de données naturelles provenant de Stack Exchange

Moshe Hazoom Vibhor Malik Ben Bogin

Résumé

La plupart des jeux de données disponibles pour la parsing sémantique, composés de paires d’énoncés naturels et de formes logiques, ont été collectés exclusivement dans le but d’entraîner et d’évaluer des systèmes de compréhension du langage naturel. En conséquence, ils ne contiennent aucune des richesses et de la variété des énoncés rencontrés dans des contextes réels, où les humains posent des questions sur des données dont ils ont besoin ou qu’ils trouvent intéressantes. Dans ce travail, nous présentons SEDE, un jeu de données comprenant 12 023 paires d’énoncés et de requêtes SQL, collectées à partir d’usages réels sur le site Stack Exchange. Nous montrons que ces paires incluent une grande variété de défis du monde réel, rarement représentés dans les autres jeux de données de parsing sémantique, proposons une métrique d’évaluation fondée sur la comparaison de clauses partielles de requêtes, plus adaptée aux requêtes du monde réel, et menons des expériences avec des modèles de référence performants, révélant un écart important entre les performances sur SEDE et celles sur d’autres jeux de données courants.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp