Neural TMDlayer : Modélisation du flux instantané des caractéristiques via des générateurs SDE

Nous étudions comment les idées fondées sur les équations différentielles stochastiques (SDE) peuvent inspirer de nouvelles modifications aux algorithmes existants pour un ensemble de problèmes en vision par ordinateur. De manière informelle, notre formulation est liée à la fois aux stratégies explicites et implicites d’augmentation de données et à l’équivariance par groupe, mais elle découle de nouveaux résultats issus de la littérature sur les SDE concernant l’estimation des générateurs infinitésimaux d’une classe de processus stochastiques. Lorsqu’il existe un accord nominal entre les exigences d’une application ou d’une tâche et les propriétés intrinsèques et le comportement des types de processus que nous pouvons traiter efficacement, nous obtenons une couche plug-in très simple et efficace, pouvant être intégrée dans n’importe quelle architecture de réseau existante, avec une modification minimale et seulement quelques paramètres supplémentaires. Nous présentons des expériences prometteuses sur plusieurs tâches de vision, notamment l’apprentissage par peu d’exemples, les transformateurs de nuages de points et la segmentation variationnelle profonde, obtenant des améliorations en efficacité ou en performance.