Reconnaissance assistée par le langage naturel des langues des signes

Les langues des signes sont des langues visuelles qui transmettent l’information à travers la forme des mains, les expressions faciales, les mouvements corporels, etc. En raison des contraintes inhérentes aux combinaisons de ces éléments visuels, les langues des signes comportent un nombre important de signes visuellement indiscernables (VISigns), ce qui limite la capacité de reconnaissance des réseaux neuronaux visuels. Pour atténuer ce problème, nous proposons un cadre de reconnaissance des langues des signes assistée par le langage naturel (NLA-SLR), qui exploite l’information sémantique contenue dans les glosses (étiquettes des signes). Premièrement, pour les VISigns ayant des significations sémantiques similaires, nous proposons un lissage des étiquettes sensible au langage, en générant des étiquettes souples pour chaque signe d’entraînement, dont les poids de lissage sont calculés à partir des similarités sémantiques normalisées entre les glosses, afin de faciliter l’entraînement. Deuxièmement, pour les VISigns ayant des significations sémantiques distinctes, nous introduisons une technique de mixup inter-modale qui fusionne les caractéristiques visuelles et les caractéristiques de gloss afin de maximiser davantage la séparabilité entre les différents signes sous la supervision d’étiquettes combinées. En outre, nous proposons également un nouveau modèle de base, le réseau vidéo-keystones, qui modélise à la fois les vidéos RGB et les points clés du corps humain, tout en extrayant des connaissances à partir de vidéos de signes présentant différents champs de réception temporelle. Expérimentalement, notre méthode atteint des performances de pointe sur trois benchmarks largement utilisés : MSASL, WLASL et NMFs-CSL. Le code est disponible à l’adresse suivante : https://github.com/FangyunWei/SLRT.