위스카모울 문제: 단순화된 접근 방식은 다수의 형태로 존재하며, 하나를 완화하면 다른 것들이 더욱 강화된다

기계학습 모델은 일반화가 불가능한 의도하지 않은 결정 규칙, 즉 '단순화된 전략(shortcuts)'을 학습하는 것으로 밝혀졌으며, 이는 모델의 신뢰성에 심각한 영향을 미친다. 기존 연구들은 학습 데이터 내에 단 하나의 단순화된 전략만 존재한다는 취약한 가정 하에 이 문제를 다루어 왔다. 실제 세계의 이미지에서는 배경부터 질감에 이르기까지 다양한 시각적 단서가 동시에 존재한다. 시각 시스템의 신뢰성을 향상시키기 위한 핵심은, 기존의 방법들이 다중 단순화된 전략을 극복할 수 있는지, 아니면 '위클-아-몰(WHAC-A-MOLE)'처럼 한 가지 전략을 완화하면 다른 전략에 대한 의존도가 증가하는 상황에 빠지는지를 이해하는 것이다. 이러한 한계를 극복하기 위해 우리는 두 가지 벤치마크를 제안한다. 첫째, 정밀하게 제어된 유사한 단서(spurious cues)를 포함한 데이터셋인 UrbanCars, 둘째, 우리가 발견한, 거의 모든 현대 시각 모델에 영향을 미치는 단순화된 전략인 워터마크(watermark)를 기반으로 한 ImageNet-W라는 평가 세트이다. 질감과 배경 외에도 ImageNet-W를 통해 자연 이미지 학습 과정에서 발생하는 다중 단순화된 전략을 연구할 수 있다. 실험 결과, 다양한 학습 데이터, 아키텍처, 학습 방식을 가진 컴퓨터 비전 모델, 포함해 대규모 기반 모델(foundation models)이라도 다중 단순화된 전략이 존재할 경우 어려움을 겪는다는 점을 확인하였다. 심지어 단순화된 전략에 대응하도록 특별히 설계된 방법들 역시 여전히 WHAC-A-MOLE 딜레마에 빠지는 것으로 나타났다. 이 도전에 대응하기 위해 우리는 단순하면서도 효과적인 방법인 Last Layer Ensemble을 제안한다. 이 방법은 WHAC-A-MOLE 현상 없이 다중 단순화된 전략을 효과적으로 완화할 수 있다. 우리의 결과는 다중 단순화된 전략 완화가 시각 시스템의 신뢰성 향상에 있어 간과되었으나 매우 중요한 과제임을 드러낸다. 관련 데이터셋과 코드는 공개되었으며, 아래 링크에서 확인할 수 있다: https://github.com/facebookresearch/Whac-A-Mole.