本稿では、同一カテゴリに属する物体を含む画像間における高密度な視覚的対応関係の確立という課題に取り組む。この課題は、クラス内変動が大きく、かつピクセルレベルの高密度なアノテーションが不足しているため、困難である。本研究では、スパースなキーポイントアノテーションに基づいてエンドツーエンドで学習可能な畳み込みニューラルネットワークアーキテクチャである、適応的近傍一致性ネットワーク（Adaptive Neighbourhood Consensus Network, ANC-Net）を提案する。ANC-Netの核となるのは、本研究で提案する非等方的4次元畳み込みカーネルであり、このカーネルは、頑健なマッチングを実現するための適応的近傍一致性モジュールの基本構成要素となっている。さらに、クラス内変動に対して学習された特徴量の堅牢性を高めるために、シンプルかつ効率的なマルチスケール自己類似性モジュールをANC-Netに導入している。また、一対一のマッチング制約を強制できる新たな直交損失関数を提案する。本手法の有効性を、さまざまなベンチマーク上で徹底的に評価した結果、最先端手法を顕著に上回ることが示された。