Apprentissage postérieur adaptatif : apprentissage à partir de quelques exemples avec un module mémoire basé sur la surprise

La capacité de généraliser rapidement à partir de peu d'observations est cruciale pour les systèmes intelligents. Dans cet article, nous présentons APL, un algorithme qui approche les distributions de probabilité en mémorisant les observations les plus surprenantes qu'il a rencontrées. Ces observations passées sont rappelées à partir d'un module mémoire externe et traitées par un réseau décodeur capable de combiner des informations provenant de différentes cases mémoire pour généraliser au-delà du rappel direct. Nous montrons que cet algorithme peut performer aussi bien que les méthodes de référence actuelles sur des benchmarks de classification à quelques exemples, avec une empreinte mémoire plus petite. De plus, sa compression mémoire lui permet de s'adapter à des milliers d'étiquettes inconnues. Enfin, nous introduisons une tâche de raisonnement méta-apprentissage qui est plus complexe que la classification directe. Dans ce contexte, APL est capable de généraliser avec moins d'un exemple par classe grâce au raisonnement déductif.