ORBIT : Un jeu de données à faible exemple du monde réel pour la reconnaissance d'objets enseignables

La reconnaissance d'objets a connu des progrès considérables au cours de la dernière décennie, mais elle dépend encore largement de nombreux exemples d'entraînement de haute qualité par catégorie d'objet. En revanche, la capacité à apprendre de nouveaux objets à partir de très peu d'exemples pourrait ouvrir la voie à de nombreuses applications transformantes, allant de la robotique à la personnalisation utilisateur. La plupart des recherches sur l'apprentissage à très peu d'exemples ont toutefois été motivées par des jeux de données de référence qui manquent de la grande variabilité que ces applications devront affronter lors de leur déploiement dans le monde réel. Pour combler cet écart, nous présentons le jeu de données et le benchmark ORBIT, fondés sur une application réelle : la reconnaissance d'objets enseignables destinée aux personnes aveugles ou malvoyantes. Ce jeu de données comprend 3 822 vidéos d'objets représentant 486 catégories, enregistrées par des personnes aveugles ou malvoyantes à l'aide de leurs téléphones mobiles. Le benchmark reflète un problème de reconnaissance réaliste et extrêmement exigeant, offrant un terrain d'expérimentation riche pour stimuler la recherche en robustesse face à des conditions de très peu d'exemples et de grande variabilité. Nous établissons la première solution d'état de l'art sur ce benchmark, tout en démontrant qu'un potentiel considérable d'innovation reste à exploiter, avec des implications potentielles pour un large éventail d'applications réelles en vision par ordinateur, y compris des outils destinés à la communauté des personnes aveugles ou malvoyantes. Nous mettons à disposition le jeu de données à l'adresse suivante : https://doi.org/10.25383/city.14294597, et le code du benchmark sur GitHub : https://github.com/microsoft/ORBIT-Dataset.