自然信号の自己相似性を活用する非局所的手法は、画像解析や復元などにおいて広く研究されてきました。しかし、既存の手法は固定された特徴空間でのk-最近傍（KNN）マッチングに依存しています。この特徴空間をアプリケーション性能に対して最適化する際の主な障壁は、KNN選択則の非微分性です。これを克服するために、我々は対象間距離に関して微分可能でありながら、温度パラメータがゼロに近づく極限で元のKNNを選択する連続的な確定的緩和法を提案します。この緩和法を活用するために、我々はニューラル・ニアレスト・ネイバーズ・ブロック（N3ブロック）という新しい非局所処理層を提案します。これは自己相似性の原理を利用し、現代のニューラルネットワークアーキテクチャにおける構成要素として使用できます。我々は対応分類という集合推論タスクや画像復元（画像ノイズ除去や単一画像超解像）において、強力な畳み込みニューラルネットワーク（CNN）ベースラインや手動で選択された特徴空間に基づく最近の非局所モデルを上回る効果を示しました。