17일 전
조합 알고리즘을 통한 역전파: 투영과의 정체성 작용
Subham Sekhar Sahoo, Anselm Paulus, Marin Vlastelica, Vít Musil, Volodymyr Kuleshov, Georg Martius

초록
이산 솔버를 미분 가능한 레이어로 통합함으로써 현대 딥러닝 아키텍처는 조합적 표현력과 이산 추론 능력을 갖추게 되었다. 그러나 이러한 솔버의 도함수는 0이거나 정의되지 않기 때문에, 효과적인 기울기 기반 학습을 위해 의미 있는 대체 방안이 필수적이다. 기존 연구들은 입력의 소 nhiễ음으로 솔버를 부드럽게 만드는 방식, 솔버를 연속 문제로 이완하는 방식, 또는 추가적인 솔버 호출을 필요로 하거나 보조 하이퍼파라미터를 도입하거나 성능을 저하시키는 기법을 사용하여 손실 경계를 보간하는 방법에 의존해왔다. 본 연구에서는 이산 해 공간의 기하학적 구조를 체계적으로 활용하여, 역전파 단계에서 솔버를 음의 항등함수(negative identity)로 취급하는 원리 기반 접근법을 제안하며, 이에 대한 이론적 근거도 제시한다. 실험 결과, 이 간단하고 하이퍼파라미터가 필요 없는 접근법이 이산 샘플러를 통한 역전파, 딥 그래프 매칭, 이미지 검색 등 다양한 실험에서 기존의 보다 복잡한 방법들과 경쟁 가능한 성능을 보였다. 또한, 이전에 제안된 문제에 특화된 및 레이블에 의존하는 마진을 일반화된 정규화 절차로 대체함으로써 비용 붕괴를 방지하고 모델의 강건성을 향상시켰다.