AIN : Étiquetage de séquences rapide et précis grâce au réseau d'inférence approchée

Le modèle de Champ Aléatoire Conditionnel (CRF) à chaîne linéaire est l'une des approches les plus couramment utilisées pour l'étiquetage de séquences par réseaux neuronaux. Des algorithmes d'inférence probabiliste exacte, tels que les algorithmes forward-backward et Viterbi, sont généralement appliqués aux étapes d'entraînement et de prédiction du modèle CRF. Toutefois, ces algorithmes nécessitent un calcul séquentiel, ce qui rend leur parallélisation impossible. Dans cet article, nous proposons d'utiliser un algorithme d'inférence variationnelle approchée parallélisable pour le modèle CRF. À partir de cet algorithme, nous concevons un réseau d'inférence approchée pouvant être connecté au encodeur du modèle CRF neuronal afin de former un réseau end-to-end, facilement parallélisable pour accélérer l'entraînement et la prédiction. Les résultats expérimentaux montrent que notre approche permet une amélioration de 12,7 fois en vitesse de décodage sur des phrases longues, tout en atteignant une précision compétitive par rapport à l'approche CRF traditionnelle.