HyperAIHyperAI

Command Palette

Search for a command to run...

Segmentation non supervisée des actions par apprentissage conjoint de représentations et regroupement en ligne

Sateesh Kumar; Sanjay Haresh; Awais Ahmed; Andrey Konin; M. Zeeshan Zia; Quoc-Huy Tran

Résumé

Nous présentons une nouvelle approche pour le segmentage d'activités non supervisé qui utilise le regroupement de trames vidéo comme tâche prétexte et effectue simultanément l'apprentissage de représentations et le regroupement en ligne. Cela contraste avec les travaux antérieurs où l'apprentissage de représentations et le regroupement sont généralement réalisés de manière séquentielle. Nous exploitons les informations temporelles dans les vidéos en utilisant le transport optimal temporel. Plus précisément, nous intégrons un terme de régularisation temporelle qui préserve l'ordre temporel de l'activité dans le module de transport optimal standard pour calculer les affectations de clusters pseudo-étiquetées. Le module de transport optimal temporel permet à notre approche d'apprendre des représentations efficaces pour le segmentage d'activités non supervisé. De plus, les méthodes précédentes nécessitent de stocker les caractéristiques apprises pour l'ensemble du jeu de données avant de les regrouper hors ligne, tandis que notre approche traite un mini-lot à la fois en ligne. Des évaluations approfondies sur trois jeux de données publics, à savoir 50-Salads, YouTube Instructions et Breakfast, ainsi que sur notre propre jeu de données Desktop Assembly, montrent que notre approche performe au même niveau ou mieux que les méthodes précédentes, malgré des contraintes mémoire considérablement moindres. Notre code source et notre jeu de données sont disponibles sur notre site web de recherche : https://retrocausal.ai/research/


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp