HyperAIHyperAI

Command Palette

Search for a command to run...

CBVS : Un référentiel d’image-texte chinois à grande échelle pour des scénarios réels de recherche de courts vidéos

Xiangshuo Qiao Xianxin Li Xiaozhe Qu Jie Zhang Yang Liu Yu Luo Cihang Jin Jin Ma

Résumé

Les modèles vision-langage pré-entraînés sur de grandes bases de données d’images et de textes ont démontré des performances supérieures sur des tâches en aval telles que la recherche d’images. La majeure partie des images utilisées pour le pré-entraînement provient de contenus visuels courants à domaine ouvert, basés sur le bon sens. À l’inverse, dans les scénarios de recherche de vidéos courtes, les couvertures de vidéos sont des contenus générés par les utilisateurs, offrant des résumés visuels pertinents des vidéos. En outre, une partie de ces couvertures est accompagnée de textes de couverture manuellement conçus, qui apportent des compléments sémantiques. Afin de combler les lacunes dans les données de couvertures de vidéos courtes, nous proposons la première base de données à grande échelle pour les scénarios de recherche de vidéos courtes en chinois. Plus précisément, nous mettons à disposition deux jeux de données à grande échelle, CBVS-5M/10M, pour fournir des couvertures de vidéos courtes, ainsi qu’un jeu de données CBVS-20K, fine-labelisé manuellement, pour offrir des requêtes réelles des utilisateurs, servant ainsi de benchmark image-texte dans le domaine de la recherche de vidéos courtes en chinois. Pour intégrer sémantiquement les textes de couverture dans des cas de disparition de modalité, nous proposons UniCLIP, où les textes de couverture jouent un rôle directeur pendant l’entraînement, mais ne sont pas utilisés lors de l’inférence. Des évaluations étendues sur CBVS-20K démontrent les performances remarquables de notre approche. UniCLIP a été déployé dans les systèmes de recherche vidéo en ligne de Tencent, qui reçoivent des centaines de millions de visites, et a permis d’obtenir des gains significatifs. Les données et le code sont disponibles à l’adresse suivante : https://github.com/QQBrowserVideoSearch/CBVS-UniCLIP.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp