Chinese-LiPS est un ensemble de données de reconnaissance vocale multimodale publié par l'Institut de recherche Zhiyuan et l'Université Nankai en 2025. Le résultat de l'article est : « Chinese-LiPS : un ensemble de données de reconnaissance vocale audiovisuelle chinoise avec lecture labiale et diapositives de présentation ». Premier ensemble de données de reconnaissance vocale multimodale chinoise combinant « informations de lecture labiale et informations sémantiques des diapositives », Chinese-LiPS est destiné à des contextes complexes tels que l'explication du chinois, la vulgarisation scientifique, l'enseignement et la diffusion des connaissances, et s'engage à promouvoir le développement de la technologie de reconnaissance vocale multimodale chinoise.

Caractéristiques du jeu de données :

• Grande taille de données：Chinese-LiPS a une durée totale d'environ 100 heures et contient 36 208 clips vocaux de haute qualité enregistrés par 207 locuteurs professionnels, avec une bonne représentativité et diversité.

• Couvrant un large éventail de sujets:Le contenu couvre 9 domaines populaires, notamment la science et la technologie, la santé et le bien-être, la culture et l'histoire, le tourisme et l'exploration, l'industrie automobile, les événements sportifs, etc. Les thèmes sont répartis uniformément, reflétant pleinement les caractéristiques d'expression et la densité terminologique dans le contexte d'un enseignement et d'une explication réels.

• Production de diaporamas de haute qualitéDes experts du domaine conçoivent le contenu et participent à l'annotation afin de garantir l'exactitude et le professionnalisme du texte et des images des diapositives. Le contenu PPT est clairement structuré et magnifiquement conçu, contenant des images riches et des informations sémantiques visuelles, plutôt qu'un simple amas de texte.

• Enregistrement vidéo de haute qualité:La vidéo est enregistrée par un conférencier professionnel dans un environnement calme avec des images haute définition, couvrant deux modes : vidéo de lecture labiale (720P) et vidéo de diapositives (1080P), garantissant un alignement précis de la parole et des mouvements des lèvres, et garantissant une qualité de données cohérente et fiable.