HyperAIHyperAI

Command Palette

Search for a command to run...

Amélioration de la généralisation dans l'analyse sémantique texte-vers-SQL basée sur les modèles linguistiques : Deux techniques simples fondées sur les frontières sémantiques

Daking Rai Bailin Wang Yilun Zhou Ziyu Yao

Résumé

La généralisation compositionnelle et domaine-sélective pose des défis importants dans le traitement sémantique, même pour les parseurs sémantiques de pointe basés sur des modèles linguistiques pré-entraînés (LM). Dans cette étude, nous explorons empiriquement l'amélioration de la généralisation d'un LM dans le cadre du traitement sémantique à l'aide de deux techniques simples : au niveau des tokens, nous introduisons une méthode de prétraitement de tokens visant à préserver les frontières sémantiques des tokens générés par les tokeniseurs de LM ; au niveau des séquences, nous proposons d'utiliser des tokens spéciaux pour marquer les frontières des composants alignés entre l'entrée et la sortie. Nos résultats expérimentaux sur deux jeux de données de traitement text-to-SQL montrent que notre méthode de prétraitement de tokens, bien qu'élémentaire, améliore significativement les performances du LM sur les deux types de généralisation, tandis que notre méthode de marquage des frontières des composants s'avère particulièrement efficace pour la généralisation compositionnelle.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Amélioration de la généralisation dans l'analyse sémantique texte-vers-SQL basée sur les modèles linguistiques : Deux techniques simples fondées sur les frontières sémantiques | Articles | HyperAI