Mémoire à court et long terme pour la segmentation des mots japonais

Cette étude présente une approche utilisant un réseau neuronal à mémoire à court et long terme (LSTM) pour la segmentation des mots japonais (JWS). Les recherches précédentes sur la segmentation des mots chinois (CWS) ont réussi à utiliser des réseaux neuronaux récurrents tels que l’LSTM et les unités récurrentes à porte (GRU). Cependant, contrairement au chinois, le japonais comprend plusieurs types de caractères, comme les hiraganas, les katakanas et les kanjis, qui génèrent des variations orthographiques et augmentent la difficulté de la segmentation des mots. De plus, il est important pour les tâches de JWS de prendre en compte un contexte global, alors que les approches traditionnelles de JWS s’appuient sur des caractéristiques locales. Pour résoudre ce problème, cette étude propose d’utiliser une approche basée sur l’LSTM pour la JWS. Les résultats expérimentaux montrent que le modèle proposé atteint une précision de pointe par rapport à divers corpus japonais.