HyperAIHyperAI

Command Palette

Search for a command to run...

De l’idéal au réel : Prédiction dense unifiée et efficace en données pour des scénarios du monde réel

Changliang Xia Chengyou Jia Zhuohang Dang Minnan Luo

Résumé

Les tâches de prédiction dense jouent un rôle important en vision par ordinateur, visant à apprendre des étiquettes annotées pixel par pixel pour une image d'entrée. Malgré les progrès réalisés dans ce domaine, les méthodes existantes se concentrent principalement sur des conditions idéalisées, avec une généralisation limitée aux scénarios du monde réel et faisant face à la rareté difficile des données du monde réel. Pour étudier systématiquement ce problème, nous introduisons d'abord DenseWorld, un benchmark couvrant un large ensemble de 25 tâches de prédiction dense qui correspondent à des applications urgentes du monde réel, caractérisé par une évaluation unifiée entre les tâches. Ensuite, nous proposons DenseDiT, qui exploite au maximum les a priori visuels des modèles génératifs pour effectuer diverses tâches de prédiction dense du monde réel grâce à une stratégie unifiée. DenseDiT combine un mécanisme de réutilisation des paramètres et deux branches légères qui intègrent de manière adaptative le contexte multi-échelle, fonctionnant avec moins de 0,1 % de paramètres supplémentaires. Les évaluations sur DenseWorld révèlent des baisses significatives de performance pour les baselines générales et spécialisées existantes, soulignant leur généralisation limitée dans le monde réel. En revanche, DenseDiT obtient des résultats supérieurs en utilisant moins de 0,01 % des données d'entraînement des baselines, mettant en lumière sa valeur pratique pour le déploiement dans le monde réel. Nos données ainsi que nos points de contrôle (checkpoints) et codes sont disponibles à l'adresse suivante : https://xcltql666.github.io/DenseDiTProj


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
De l’idéal au réel : Prédiction dense unifiée et efficace en données pour des scénarios du monde réel | Articles | HyperAI