HyperAIHyperAI

Command Palette

Search for a command to run...

Segmentation sémantique à vocabulaire ouvert avec réseau à une seule passe découplée

Cong Han Yujie Zhong Dengjie Li Kai Han Lin Ma

Résumé

Récemment, le problème de la segmentation sémantique à vocabulaire ouvert a attiré une attention croissante, et les méthodes les plus performantes reposent sur des réseaux à deux flux : un flux pour la génération de masques de propositions, et un autre pour la classification des segments à l’aide d’un modèle visuel-langagier préentraîné. Toutefois, les méthodes à deux flux existantes nécessitent de passer un grand nombre d’images (jusqu’à une centaine) dans le modèle visuel-langagier, ce qui s’avère très inefficace. Pour résoudre ce problème, nous proposons un réseau qui n’exige qu’un seul passage à travers le modèle visuel-langagier par image d’entrée. Plus précisément, nous introduisons tout d’abord une nouvelle approche d’adaptation de réseau, appelée patch severance, afin de limiter les interférences néfastes entre les embeddings de patch dans l’encodeur visuel préentraîné. Nous proposons ensuite une méthode d’apprentissage des ancres de classification, visant à inciter le réseau à se concentrer spatialement sur des caractéristiques plus discriminantes pour la classification. Des expériences étendues démontrent que la méthode proposée atteint des performances remarquables, surpassant les états de l’art tout en étant de 4 à 7 fois plus rapide à l’inference. Code : https://github.com/CongHan0808/DeOP.git


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp