엔티티 매칭 작업의 난이도는 코너 케이스 쌍의 수, 훈련 과정에서 접하지 못한 엔티티의 테스트 세트 내 비율, 개발 세트의 크기 등의 다수의 요인 조합에 따라 달라진다. 현재의 엔티티 매칭 벤치마크는 이러한 차원들 중 하나의 단일 점을 대표하거나, 예를 들어 훈련 데이터의 양과 같은 단일 차원에 대한 매칭 방법 평가만을 제공하는 경우가 많다. 본 논문은 실제 세계 데이터를 기반으로 하면서도 세 가지 차원의 조합에 따라 매칭 시스템을 체계적으로 평가할 수 있도록 하는 WDC Products라는 엔티티 매칭 벤치마크를 제안한다. 이 세 가지 차원은 (i) 코너 케이스의 양, (ii) 미관측 엔티티에 대한 일반화 능력, 그리고 (iii) 개발 세트 크기(훈련 세트 + 검증 세트)이다. 특히, 미관측 엔티티에 대한 일반화 능력은 현재 존재하는 영어 기반 벤치마크 중 어느 것도 다루지 못한 차원이나, 엔티티 매칭 시스템의 견고성 평가에 있어 핵심적인 요소이다. 엔티티 쌍 매칭을 학습하는 방식 외에도, 엔티티 매칭은 개별 엔티티를 식별할 수 있도록 요구하는 다중 클래스 분류 문제로도 공식화할 수 있다. WDC Products는 동일한 작업에 대해 쌍별(pair-wise) 및 다중 클래스 형식을 모두 제공하는 최초의 벤치마크이다. 본 연구에서는 Ditto, HierGAT, R-SupCon 등 최신의 매칭 시스템들을 활용하여 WDC Products를 평가하였다. 평가 결과, 모든 매칭 시스템이 미관측 엔티티에 대해 어느 정도의 어려움을 겪는 것으로 나타났다. 또한, 엔티티 매칭에서 대조 학습(contrastive learning)이 크로스 인코더(cross-encoder)보다 훈련 데이터 효율성이 뛰어나다는 점도 확인되었다.