HyperAIHyperAI

Command Palette

Search for a command to run...

il y a 4 mois

CrossMoCo : apprentissage contrastif par momentum multi-modal pour les nuages de points

{Nizar Bouguila Zachary Patterson Sneha Paul}

Résumé

Le nuage de points est une donnée géométrique 3D dépourvue d'une structure spécifique et invariante par permutation. Les applications des nuages de points ont récemment suscité un intérêt croissant dans le domaine des tâches de vision. Toutefois, la plupart des travaux existants sur les nuages de points reposent sur l'apprentissage supervisé à partir de grands ensembles de données étiquetées, qui sont coûteux et laborieux à collecter. À cet égard, l'apprentissage non supervisé, notamment l'apprentissage auto-supervisé, a montré des performances prometteuses dans diverses tâches de vision par ordinateur 2D et présente un potentiel important pour les applications en vision 3D. Dans cette étude, nous proposons une nouvelle méthode auto-supervisée, nommée CrossMoCo, qui apprend des représentations à partir de données de nuages de points non étiquetées dans un cadre multimodal, en exploitant également les images 2D rendues à partir de ces nuages. CrossMoCo surpasse les méthodes existantes en apprentissage auto-supervisé multimodal sur les nuages de points en introduisant deux concepts novateurs : l’apprentissage contrastif à momentum avec un plus grand nombre d’échantillons négatifs, et l’apprentissage contrastif intra-modale à plusieurs vues. Le premier composant apprend à partir d’un encodeur en ligne et d’un encodeur à momentum, en utilisant un grand nombre d’échantillons négatifs, ce qui fournit des signaux d’apprentissage cohérents. Le second composant impose une cohérence entre différentes vues des échantillons appartenant à la même modalité, améliorant ainsi la qualité des représentations multimodales. Nous menons des études approfondies sur deux jeux de données standardisées populaires (ModelNet40 et ScanObjectNN) pour des tâches de classification linéaire et d’apprentissage à faible nombre d’exemples. Nos résultats démontrent que CrossMoCo atteint des performances supérieures par rapport aux méthodes existantes sur les deux tâches et les deux jeux de données, avec une amélioration maximale de 4,36 % pour la classification linéaire et jusqu’à 9,2 % pour les tâches à faible nombre d’exemples. Le code source est disponible à l’adresse suivante : https://github.com/snehaputul/CrossMoCo.

Dépôts de code

Benchmarks

BenchmarkMéthodologieMétriques
3d-object-classification-on-modelnet40CrossMoCo
Classification Accuracy: 91.49
3d-point-cloud-classification-on-modelnet40CrossMoCo
Overall Accuracy: 91.49
3d-point-cloud-linear-classification-onCrossMoCo
Overall Accuracy: 91.49
3d-point-cloud-linear-classification-on-1CrossMoCo
Overall Accuracy: 86.06
few-shot-3d-point-cloud-classification-on-1CrossMoCo
Overall Accuracy: 93.8
Standard Deviation: 4.5
few-shot-3d-point-cloud-classification-on-2CrossMoCo
Overall Accuracy: 96.8
Standard Deviation: 1.7
few-shot-3d-point-cloud-classification-on-3CrossMoCo
Overall Accuracy: 88.7
Standard Deviation: 3.9
few-shot-3d-point-cloud-classification-on-4CrossMoCo
Overall Accuracy: 91.0
Standard Deviation: 3.4
few-shot-3d-point-cloud-classification-on-6CrossMoCo
Overall Accuracy: 69.6
few-shot-3d-point-cloud-classification-on-7CrossMoCo
Overall Accuracy: 78.1
few-shot-3d-point-cloud-classification-on-8CrossMoCo
Overall Accuracy: 84.0
few-shot-3d-point-cloud-classification-on-9CrossMoCo
Overall Accuracy: 87.6

Construire l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.

Co-codage IA
GPU prêts à utiliser
Meilleurs prix
Commencer

Hyper Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp