Transducteur léger basé sur un critère au niveau des trames

Le modèle de transducteur formé sur la base d'un critère au niveau des séquences nécessite une grande quantité de mémoire en raison de la génération d'une matrice de probabilité importante. Nous avons proposé un modèle de transducteur léger basé sur un critère au niveau des trames, qui utilise les résultats de l'algorithme d'alignement forcé CTC pour déterminer l'étiquette de chaque trame. Ensuite, la sortie du codificateur peut être combinée avec la sortie du décodeur à l'instant correspondant, plutôt que d'ajouter chaque élément produit par le codificateur à chaque élément produit par le décodeur, comme c'est le cas dans le transducteur. Ceci réduit considérablement les exigences en mémoire et en calcul. Pour résoudre le problème de classification déséquilibrée causé par un excès de blancs dans les étiquettes, nous avons dissocié les probabilités de blanc et non-blanc et tronqué le gradient du classifieur de blanc vers le réseau principal. Les expériences menées sur AISHELL-1 montrent que cela permet au transducteur léger d'obtenir des résultats similaires à ceux du transducteur. De plus, nous utilisons des informations plus riches pour prédire la probabilité de blanc, obtenant ainsi des résultats supérieurs à ceux du transducteur.