HyperAIHyperAI

Command Palette

Search for a command to run...

Intégration de l'attention sur les mots dans la segmentation de mots basée sur les caractères

Shohei Higashiyama Masao Utiyama Yoshiaki Oida Yohei Sakamoto Masao Ideuchi Eiichiro Sumita Isaac Okada

Résumé

Les modèles de réseaux de neurones ont été largement appliqués à la segmentation des mots, en particulier pour le chinois, en raison de leur capacité à réduire considérablement les efforts nécessaires en ingénierie de caractéristiques. Les modèles de segmentation classiques se divisent en deux catégories : les modèles basés sur les caractères, qui permettent une inférence précise, et les modèles basés sur les mots, qui exploitent les informations au niveau du mot. Nous proposons un modèle basé sur les caractères qui intègre également des informations sur les mots afin de tirer parti des avantages des deux approches. Notre modèle apprend l’importance de plusieurs mots candidats associés à un même caractère grâce à un mécanisme d’attention, et utilise cette information pour prendre des décisions de segmentation. Les résultats expérimentaux montrent que notre modèle obtient des performances supérieures aux modèles les plus avancés sur les jeux de données de référence en japonais et en chinois.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Intégration de l'attention sur les mots dans la segmentation de mots basée sur les caractères | Articles | HyperAI