Les méthodes non locales exploitant l'auto-similarité des signaux naturels ont été largement étudiées, par exemple dans l'analyse et la restauration d'images. Les approches existantes reposent cependant sur l'appariement des k-plus proches voisins (k-NN) dans un espace de caractéristiques fixe. L'obstacle principal à l'optimisation de cet espace de caractéristiques en fonction des performances de l'application est la non-dérivabilité de la règle de sélection k-NN. Pour surmonter cette difficulté, nous proposons une relaxation déterministe continue de la sélection k-NN qui maintient la dérivabilité par rapport aux distances paires, tout en conservant le k-NN original comme limite lorsque le paramètre de température tend vers zéro. Afin d'exploiter notre relaxation, nous introduisons le bloc neuronal des plus proches voisins (N3 block), une nouvelle couche de traitement non local qui utilise le principe d'auto-similarité et peut être utilisée comme élément constitutif dans les architectures modernes de réseaux neuronaux. Nous démontrons son efficacité pour la tâche de raisonnement sur les ensembles consistant en la classification de correspondance, ainsi que pour la restauration d'images, y compris le débruitage d'images et la super-résolution mono-image, où nous surpassons les lignes de base robustes des réseaux neuronaux convolutifs (CNN) et les modèles non locaux récents qui s'appuient sur la sélection k-NN dans des espaces de caractéristiques choisis manuellement.