SignBERT+ : Pré-entraînement auto-supervisé sensible au modèle de main pour la compréhension des langues des signes

Le geste de la main joue un rôle crucial dans l’expression de la langue des signes. Les méthodes actuelles basées sur l’apprentissage profond pour la compréhension de la langue des signes (SLU) sont sujettes au surapprentissage en raison d’un manque de ressources de données signées, tout en souffrant d’une interprétabilité limitée. Dans cet article, nous proposons le premier cadre SignBERT+ pré-entraînable en mode auto-supervisé, intégrant un prior sur la main conscient du modèle. Dans notre cadre, la pose de la main est traitée comme un token visuel, extrait à partir d’un détecteur disponible en tant que solution standard. Chaque token visuel est enrichi par un encodage d’état gestuel et d’information spatio-temporelle. Afin d’exploiter pleinement les ressources actuelles de données signées, nous menons d’abord un apprentissage auto-supervisé afin de modéliser leurs statistiques. Pour ce faire, nous concevons des stratégies de masquage à plusieurs niveaux (articulation, trame et clip) afin de simuler des cas courants d’échec de détection. En complément de ces stratégies de masquage, nous intégrons un prior sur la main conscient du modèle afin de mieux capturer le contexte hiérarchique au sein de la séquence. Après l’étape de pré-entraînement, nous concevons soigneusement des têtes de prédiction simples mais efficaces pour les tâches en aval. Pour valider l’efficacité de notre cadre, nous menons des expériences approfondies sur trois tâches principales de SLU, incluant la reconnaissance isolée et continue de la langue des signes (SLR), ainsi que la traduction de la langue des signes (SLT). Les résultats expérimentaux démontrent l’efficacité de notre méthode, atteignant de nouvelles performances de pointe avec une amélioration significative.